ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Transcript

1 ΘΕΜΑ ο (2.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Τετάρτη 4 Οκτωβρίου :00-3:00 ίνεται το παρακάτω νευρωνικό δίκτυο µε δύο εισόδους ( και 2), δύο σιγµοειδείς νευρώνες (3 και 4), τάση πόλωσης (0) και µία έξοδο. Σκοπός µας είναι να εκπαιδεύσουµε το δίκτυο ώστε να µάθει τη συνάρτηση XOR. z= 0 w 04 w 03 w 4 y x 2 w 3 3 w 34 w 23 w 24 4 Τα παραδείγµατα εκπαίδευσης δίνονται µε την εξής σειρά: # x y Έξοδος Θεωρείστε ότι αρχικά όλα τα βάρη είναι ίσα µε µηδέν, η τάση πόλωσης ίση µε και ο ρυθµός µάθησης ίσος µε. α) Υπολογίστε τις αλλαγές βαρών που συµβαίνουν κατά την εµφάνιση του πρώτου παραδείγµατος. (.5) β) Υπολογίστε τις αλλαγές βαρών που συµβαίνουν κατά την εµφάνιση του δεύτερου παραδείγµατος. () Θεωρείστε ότι τα βάρη αλλάζουν αµέσως µετά την εµφάνιση κάθε παραδείγµατος. ίνονται οι παρακάτω τύποι: Σιγµοειδής συνάρτηση: Φ( Si) = S + e i Παράγωγος σιγµοειδούς συνάρτησης: Φ'=Φ(-Φ). Κανόνας δέλτα: w = d δ α ji i j Προσαρµοσµένο σφάλµα νευρώνα εξόδου: δ k =(a k -o k )Φ'(S k ) Προσαρµοσµένα σφάλµατα νευρώνων κρυφών επιπέδων: δ i Φ' ( Si) ίνεται επίσης ότι e 0.56 =.69. = wikδk

2 Απάντηση: Κατά την εµφάνιση του πρώτου παραδείγµατος µε είσοδο x=y=0, και µε δεδοµένο ότι όλα τα βάρη είναι ίσα µε 0, η είσοδος του νευρώνα 3 ισούται µε 0, οπότε η έξοδός του ισούται µε /(+e 0 )=/2. Η συνολική είσοδος του νευρώνα 4 είναι και πάλι 0 (λόγω των βαρών στις εισόδους του), οπότε και η έξοδος του νευρώνα 4 ισούται µε /2. Η έξοδος αυτή όµως θα έπρεπε να είναι 0, άρα υπάρχει σφάλµα. Το προσαρµοσµένο σφάλµα του νευρώνα 4 ισούται µε: δ 4 =(α 4 -o 4 )Φ'(0)= (α 4 -o 4 ) Φ(0) (-Φ(0))=(0.5-0) =0.25. Τα βάρη στην είσοδο του νευρώνα 4 αλλάζουν ως εξής: w 04 = = w 4 = = 0 w 24 = = 0 w 34 = = Το προσαρµοσµένο σφάλµα του νευρώνα 3 υπολογίζεται σε 0, λόγω του βάρους w 34 που ήταν µηδέν, έτσι δεν προκύπτει καµία µεταβολή στα βάρη στις τρεις εισόδους του νευρώνα 3. Τελικά, µετά το πρώτο παράδειγµα τα βάρη γίνονται ως εξής: # w 03 w 3 w 23 w 04 w 4 w 24 w Έστω τώρα ότι εµφανίζεται στην είσοδο το δεύτερο παράδειγµα. Η συνολική είσοδος του νευρώνα 3 θα είναι και πάλι 0 (λόγω των βαρών), οπότε η έξοδός του θα είναι και πάλι 0.5. Η συνολική είσοδος του νευρώνα 4 θα είναι: (-0.25) = = Η έξοδός του υπολογίζεται από τη σιγµοειδή συνάρτηση και βρίσκεται ίση µε: Φ( ) Σε αυτή την περίπτωση όµως η έξοδος έπρεπε να είναι, άρα υπάρχει σφάλµα (0.46-)= Το προσαρµοσµένο σφάλµα του νευρώνα εξόδου είναι: δ 4 =(α 4 -o 4 )Φ'( )=(-0.539) Φ( ) (-Φ( )) (-0.539) Τα βάρη στην είσοδο του νευρώνα 4 αλλάζουν ως εξής: w 04 =- (-0.34) = 0.34 w 4 =- (-0.34) 0= 0 w 24 =- (-0.34) = 0.34 w 34 =- (-0.34) 0.5= Το προσαρµοσµένο σφάλµα του νευρώνα 3 υπολογίζεται ως: δ 3 =Φ'(0) w 34 δ 4 =Φ(0) (-Φ(0)) w 34 δ 4 = ( ) (-0.34) Οι αλλαγές στα 3 βάρη στις εισόδους του νευρώνα 3 είναι οι εξής: w 03 =- (0.002) = w 3 =- (0.002) 0= 0 w 23 =- (0.002) = Τελικά, µετά και το πρώτο δεύτερο παράδειγµα τα βάρη γίνονται ως εξής: # w 03 w 3 w 23 w 04 w 4 w 24 w ΘΕΜΑ 2 ο (2.5 µονάδες) ίνονται 5 σηµεία της συνάρτησης y=x 2 και συγκεκριµένα τα: # x y

3 Κατασκευάστε ένα ακτινικό δίκτυο και προβλέψτε την τιµή της συνάρτησης στα σηµεία x=.5 και x=3. ίνεται η ακτινική συνάρτηση: ( 2 S i ) σ Φ( S i ) = e όπου σ=. ίνονται: Φ(0)=, Φ(0.5)= , Φ()=0.5, Φ(.5)=0.2088, Φ(2)= , Φ(2.5)=0.033, Φ(3)= , Φ(3.5)= , Φ(4)= , Φ(4.5)=Φ(5)=0, Απάντηση: Το ακτινικό δίκτυο που θα κατασκευαστεί θα έχει πέντε ακτινικούς νευρώνες στο κρυφό επίπεδο (Α, Β, Γ, και Ε) και έναν γραµµικό νευρώνα στο επίπεδο εξόδου (Ζ). Κάθε ένας από τους πέντε νευρώνες θα έχει στην είσοδό του ως βάρος την τιµή του x του αντίστοιχου παραδείγµατος. Πρέπει να βρούµε τα βάρη στις εισόδους του νευρώνα εξόδου, w, w 2, w 3, w 4 και w 5. Αυτά υπολογίζονται µε βάση την απαίτηση ότι το ακτινικό δίκτυο θα πρέπει να βγάζει απολύτως σωστό αποτέλεσµα όταν η είσοδος είναι µία εκ των πέντε εισόδων των παραδειγµάτων εκπαίδευσης. Α w -2 - Β w 2 x 0 Γ w 3 Ζ y w 4 2 w 5 Ε Για κάθε ένα από τα πέντε παραδείγµατα δηµιουργούµε µια γραµµική εξίσωση µε αγνώστους τα πέντε ζητούµενα βάρη. ηµιουργείται λοιπόν ένα σύστηµα πέντε εξισώσεων µε πέντε αγνώστους: #: Φ(0)w +Φ()w 2 +Φ(2)w 3 +Φ(3)w 4 +Φ(4)w 5 =4. #2: Φ()w +Φ(0)w 2 +Φ()w 3 +Φ(2)w 4 +Φ(3)w 5 =. #3: Φ(2)w +Φ()w 2 +Φ(0)w 3 +Φ()w 4 +Φ(2)w 5 =0. #4: Φ(3)w +Φ(2)w 2 +Φ()w 3 +Φ(0)w 4 +Φ()w 5 =. #5: Φ(4)w +Φ(3)w 2 +Φ(2)w 3 +Φ()w 4 +Φ(0)w 5 =4. όπου Φ(0)=, Φ()=0.5, Φ(2)=0.6248, Φ(3)= , Φ(4)=

4 Στο παραπάνω σύστηµα παρατηρούµε ότι οι εξισώσεις είναι συµµετρικές ως προς w και w 5, καθώς και ως προς w 2 και w 4. Πράγµατι, αν τα παραπάνω ζεύγη µεταβλητών ανταλλάξουν ονόµατα, το νέο σύνολο εξισώσεων που θα προκύψει θα είναι ίδιο µε το αρχικό. Άρα προκύπτει ότι εφόσον βρεθεί µια λύση, σε αυτήν θα πρέπει να ισχύει w =w 5 και w 2 =w 4. Στο ίδιο συµπέρασµα θα µπορούσαµε να καταλήξουµε και µε πράξεις, για παράδειγµα αν αφαιρέσουµε από την # την #5 και από την #2 την #4 βρίσκουµε ότι: #-#5: (Φ(0)-Φ(4))w +(Φ()-Φ(3))w 2 +(Φ(3)-Φ())w 4 +(Φ(4)-Φ(0))w 5 =0 #2-#4: (Φ()-Φ(3))w +(Φ(0)-Φ(2))w 2 +(Φ(2)-Φ(0))w 4 +(Φ(3)-Φ())w 5 =0 Για συντοµία έστω πως α=φ(0)-φ(4), β=φ()-φ(3), γ=φ(0)-φ(2), οπότε οι παραπάνω δύο εξισώσεις γράφονται απλούστερα: αw +βw 2 -βw 4 -αw 5 =0 () βw +γw 2 -γw 4 -βw 5 =0 (2) Πολλαπλασιάζοντας την δεύτερη εξίσωση µε α/β αυτή γίνεται: αw +(αγ/β)w 2 -(αγ/β)w 4 -αw 5 =0. (3) Αφαιρώντας από την () την (3) παίρνουµε: (β-αγ/β)w 2 -(β-αγ/β)w 4 =0 w 2 =w 4. οπότε τελικά εύκολα προκύπτει και πως w =w 5. Τελικά το αρχικό σύστηµα 5 εξισώσεων µε 5 αγνώστους εκφυλίζεται σε σύστηµα 3 εξισώσεων µε 3 αγνώστους, το εξής: #: (Φ(0)+Φ(4))w +(Φ()+Φ(3))w 2 +Φ(2)w 3 =4. #2: (Φ()+Φ(3))w +(Φ(0)+Φ(2))w 2 +Φ()w 3 =. #3: 2Φ(2)w +2Φ()w 2 +Φ(0)w 3 =0. ή αν αντικαταστήσουµε τα νούµερα έχουµε: #: w w w 3 =4. #2: w w w 3 =. #3: w +w 2 +w 3 =0. Λύνοντας το παραπάνω σύστηµα τριών εξισώσεων µε τρεις αγνώστους βρίσκουµε ότι: w =4.96=w 5, w 2 = =w 4 και w 3 =.478. Παρένθεση: Για την επίλυση του συστήµατος διαιρούµε καταρχήν όλες τις εξισώσεις µε τον συντελεστή του w και παίρνουµε: #: w w w 3 = #2: w w w 3 = #3: w w w 3 =0. Αφαιρούµε από τις #2 και #3 την # και έχουµε: #2-#:.64754w w 3 = #3-#: w w 3 = ιαιρούµε τώρα και τις δύο εξισώσεις µε τον συντελεστή του w 2 και έχουµε: #2-#: w w 3 = #3-#: w w 3 = Αφαιρούµε τέλος από την #3-# την #2-# και έχουµε: w 3 = από την οποία προκύπτει ότι w 3 = Αντικαθιστώντας τώρα είτε στην #2-# είτε στην #3-# βρίσκουµε το w 2 και τέλος αντικαθιστώντας στην # βρίσκουµε και το w.

5 Για να υπολογίσουµε την έξοδο του δικτύου για τις διάφορες τιµές του x που µας ζητείται πρέπει να υπολογίσουµε την έξοδο κάθε ακτινικού νευρώνα ξεχωριστά, να πολλαπλασιάσουµε τις εξόδους τους επί τα βάρη στην είσοδο του γραµµικού νευρώνα και να προσθέσουµε τα τελικά αποτελέσµατα. Έστω λοιπόν για x=3. Οι έξοδοι των πέντε ακτινικών νευρώνων επί τα αντίστοιχα βάρη είναι: #Α: Φ(5) w =0 4.96=0 #Β: Φ(4) w 2 = ( )= #Γ: Φ(3) w 3 = = # : Φ(2) w 4 = ( )= #Ε: Φ() w 5 = =2.48 Η έξοδος του γραµµικού νευρώνα είναι απλά το άθροισµα των παραπάνω γινοµένων που είναι ίσο περίπου µε 2.35, αρκετά µακριά από την τιµή y=9 που αναµέναµε. Ο λόγος είναι ότι όσο η απόσταση από το κοντινότερο παράδειγµα µεγαλώνει, η έξοδος τείνει στο µηδέν. Έστω τώρα η περίπτωση x=.5. Οι έξοδοι των πέντε ακτινικών νευρώνων επί τα αντίστοιχα βάρη είναι: #Α: Φ(3.5) w = = #Β: Φ(2.5) w 2 =0.033 ( )= #Γ: Φ(.5) w 3 = = # : Φ(0.5) w 4 = ( )= #Ε: Φ(0.5) w 5 = = Η έξοδος του γραµµικού νευρώνα αυτή τη φορά είναι Η έξοδος που αναµέναµε ήταν Υπάρχει ένα σφάλµα προς τα πάνω, το οποίο δικαιολογείται από το γεγονός ότι το συγκεκριµένο παράδειγµα (x=.5) έχει ίση απόσταση από το παράδειγµα x= (µε έξοδο y=) και από το παράδειγµα x=2 (µε y=4). ΘΕΜΑ 3 ο (2.5 µονάδες) Κατασκευάστε ένα δίκτυο Hopfield για την αποθήκευση του διανύσµατος X =[ - ]. Πώς συµπεριφέρεται το δίκτυο εάν εµφανιστεί στην είσοδό του το διάνυσµα Χ 2 =[ ]; Απάντηση: Προφανώς το δίκτυο Hopfield θα αποτελείται από τέσσερις νευρώνες, κάθε ένας από τους οποίους συνδέεται µε όλους τους άλλους, εκτός από τον εαυτό του. Πρώτα υπολογίζουµε τα βάρη των συνδέσεων: [ ] W = = Επειδή όµως δεν υπάρχουν συνδέσεις από κάθε νευρώνα στον εαυτό του, τα διαγώνια στοιχεία του παραπάνω πίνακα µηδενίζονται: 0 0 W = 0 0

6 Έστω ότι στο δίκτυο παρουσιάζεται η είσοδος X 2 =[ ], η οποία διαφέρει από το αρχικό διάνυσµα σε ένα στοιχείο. Θα υπολογίσουµε τις νέες εξόδους των νευρώνων µε τυχαία σειρά, έστω µε τη σειρά 2, 4, 3,. Νέα έξοδος 2ου νευρώνα: 0 S 2 = [ ] =, Φ( S2) = Η 2 η έξοδος αλλάζει και το διάνυσµα παραµένει [ ]. Νέα έξοδος 4ου νευρώνα: S 4 = [ ] =, Φ( S4) = 0 Το διάνυσµα παραµένει [ ]. Νέα έξοδος του 3ου νευρώνα: [ ] S 3 = = 3, Φ( S3) = 0 Το διάνυσµα αλλάζει σε παραµένει [ - ]. Νέα έξοδος του ου νευρώνα: 0 S = [ ] = 3, Φ( S) = Το διάνυσµα παραµένει [ - ]. Έχει λοιπόν παραχθεί το αρχικό διάνυσµα. Αν συνεχίσουµε τις "ενηµερώσεις", η κατάσταση αυτή δεν θα αλλάξει. Θέµα 4 ο (2.5 µονάδες) Περιγράψτε τη διαδικασία πρόβλεψης σήµατος µε προσαρµόσιµα γραµµικά νευρωνικά δίκτυα (AALINES, Adaptipve Linear Neural Networks). Αναφέρετε ένα παράδειγµα πρακτικής χρήσης. Απάντηση: Μια από τις κυριώτερες εφαρµογές των AALINES είναι στην πρόβλεψη σήµατος. Έστω για παράδειγµα ένα σήµα θορύβου (π.χ. ηχητικό, ηλεκτρικό κλπ). Γνωρίζοντας τις προηγούµενες τιµές του σήµατος, χρησιµοποιούµε ένα δίκτυο για να προβλέψουµε τη νέα τιµή του σήµατος, πριν αυτή εµφανιστεί. Αυτό µας δίνει τη δυνατότητα, εφαρµόζοντας ένα αντίθετο από το προβλεπόµενο σήµα, να ακυρώνουµε το ίδιο το σήµα, δηλαδή να αφαιρούµε το θόρυβο (γραµµικά φίλτρα). Το σηµαντικότερο είναι ότι το δίκτυο που εκτελεί αυτή τη λειτουργία αυτο-εκπαιδεύεται την ώρα της λειτουργίας του, έχοντας τη δυνατότητα να προσαρµόζεται σε κάθε νέο σήµα.

7 x(t) x(t-) x(t-2) w w 2 Γραµµικός νευρώνας (AALINE) y(t) - Σήµα χωρίς θόρυβο x(t-n) w n Αλλαγή των βαρών Βλέπουµε στο διάγραµµα της προηγούµενης διαφάνειας ότι στην είσοδο του νευρωνικού δεν εφαρµόζεται το σήµα x(t), παρά µόνο τα σήµατα x(t-), x(t-2) κλπ. Το σήµα x(t) συγκρίνεται µε την έξοδο y(t). Η διαφορά y(t)-x(t) αποτελεί το σφάλµα του δικτύου και βάσει αυτής αλλάζουν τα βάρη στις εισόδους x(t-), x(t-2) κλπ, βάσει της σχέσης: w i =w i -w i-old =-d(y-o)x i Άρα το δίκτυο µαθαίνει να προβλέπει την τιµή του σήµατος x(t) από τις προηγούµενές τιµές του. Με µικρές τροποποιήσεις το δίκτυο θα ήταν σε θέση να προβλέψει την τιµή x(t) από τη χρονική στιγµή t-. Έστω ο πιλότος στο πιλοτήριο του αεροπλάνου. Όταν µιλάει στους επιβάτες µέσα από το µικρόφωνο, ο θόρυβος του αεροπλάνου θα έπρεπε να διέρχεται µέσα από το µικρόφωνο και να ακούγεται µαζί µε τη φωνή του από τα µεγάφωνα, δηµιουργώντας πολύ άσχηµο ηχητικό αποτέλεσµα. Ωστόσο, κάτι τέτοιο δεν συµβαίνει. Στο σήµα που ξεκινά από το µικρόφωνο, το οποίο περιέχει τόσο τη φωνή όσο και το θόρυβο, παρεµβάλλεται ένα φίλτρο αφαίρεσης του θορύβου. Φωνή πιλότου και θόρυβος κινητήρων Φωνή πιλότου χωρίς θόρυβο κινητήρων πρόβλεψη θόρύβου Θόρυβος κινητήρων ΘΕΜΑ 5 ο (2.5 µονάδες) Έστω το πρόβληµα του καιρού (ata Mining, Witten & Frank, 999). Συγκεκριµένα, έχουµε ένα σύνολο από δεδοµένα καιρού, βάσει των οποίων αποφασίζεται εάν θα διεξαχθεί ένας αγώνας ποδοσφαίρου ή όχι. Οι µεταβλητές εισόδου του προβλήµατος, µαζί µε τις τιµές τους, είναι οι εξής: outlook (Τιµές: sunny, overcast, rainy) humidity (Τιµές: high, normal)

8 ενώ η µεταβλητή εξόδου είναι η play (Τιµές: yes, no) Μας δίνεται ο παρακάτω πίνακας δεδοµένων εκπαίδευσης: outlook humidity play sunny high no sunny high no overcast high yes rainy high yes rainy normal yes rainy normal no overcast normal yes sunny high no sunny normal yes rainy normal yes sunny normal yes overcast high yes overcast normal yes rainy high no Με βάση τα παραπάνω δεδοµένα, θέλουµε να κατασκευάσουµε ένα δένδρο αποφάσεων µε το οποίο θα προβλέπουµε την τιµή play µε βάση τις τιµές των µεταβλητών εισόδου. α) Για ένα νέο παράδειγµα, πόση πληροφορία µας λείπει αρχικά, πριν πραγµατοποιήσουµε οποιαδήποτε ερώτηση; (0.5 µονάδα) β) Κατασκευάστε ολόκληρο το δένδρο αποφάσεων, τεκµηριώνοντας τις επιλογές σας. (2 µονάδες) ίνονται: log =-.47, log =-0.64, log 2 0.6=-0.74, log 2 0.4=-.32, log =-0.8, log =-.22, log =-0.22, log 2 0.4= I( P( v N, v2,..., vn )) = P( vi )log2 P( vi ) i= Απάντηση: Η µεταβλητή στόχος (play) έχει δύο τιµές, οι οποίες όµως δεν είναι ισοπίθανες. Έχουµε 4 παραδείγµατα εκπαίδευσης, από τα οποία τα 9 αντιστοιχούν στην τιµή play=yes και τα 5 στην τιµή play=no. Άρα η εκ των προτέρων πιθανότητα για την τιµή play=yes είναι P(yes)=0.64, ενώ η πιθανότητα play=no είναι P(no)=0.36. Η πληροφορία που µας λείπει αρχικά για ένα νέο παράδειγµα είναι: Ι=-P(no)*log 2 P(no)-P(yes)*log 2 P(yes)= -0.64*log *log =0.64* *.47=0.94 bits Για να αποφασίσουµε ποια θα είναι η µεταβλητή στη ρίζα του δένδρου, πρέπει να δούµε πόση είναι η αναµενόµενη πληροφορία που θα µας λείπει ύστερα από κάθε πιθανή πρώτη ερώτηση. Εάν η πρώτη ερώτησή µας αφορά το πεδίο outlook, τότε υπάρχουν τρεις πιθανές απαντήσεις, οι sunny µε πιθανότητα P(sunny)=5/4=0.36, overcast µε πιθανότητα P(overcast)=4/4=0.28 και rainy µε πιθανότητα P(rainy)=5/4=0.36. Στην περίπτωση που η απάντηση στην ερώτηση outlook είναι sunny έχουµε 3/5=0.6 πιθανότητα η τελική απάντηση να είναι no και 2/5=0.4 πιθανότητα η τελική απάντηση να είναι yes. Η πληροφορία που µας λείπει σε αυτή την περίπτωση είναι: I outlook=sunny =-0.6*log *log 2 0.4=0.6* *.32=0.97 bits.

9 Στην περίπτωση που η απάντηση στην ερώτηση outlook είναι overcast έχουµε 4/4= πιθανότητα η τελική απάντηση να είναι yes και 0/4=0 πιθανότητα η τελική απάντηση να είναι no. Η πληροφορία που µας λείπει σε αυτή την περίπτωση είναι προφανές ότι είναι I outlook=overcast =0 bits. Στην περίπτωση που η απάντηση στην ερώτηση outlook είναι rainy έχουµε 3/5=0.6 πιθανότητα η τελική απάντηση να είναι yes και 2/5=0.4 πιθανότητα η τελική απάντηση να είναι no. Η πληροφορία που µας λείπει σε αυτή την περίπτωση είναι (όπως ακριβώς και στην περίπτωση της sunny) I outlook=rainy =0.97 bits. Άρα η πληροφορία που αναµένεται να µας λείπει µετά την πρώτη ερώτηση, εφόσον αυτή αφορά το πεδίο outlook, είναι I outlook =P(sunny)* I outlook=sunny +P(overcast)* I outlook=overcast +P(rainy)* I outlook=rainy =0.36* *0+0.36*0.97=0.70 bits Το κέρδος από την ερώτηση outlook είναι Gain outlook =Ι-Ι outlook = =0.24 bits. Εάν η πρώτη ερώτηση αφορά το πεδίο humidity, υπάρχουν δύο δυνατές απαντήσεις, οι high µε πιθανότητα P(high)=7/4=0.5 και η normal µε πιθανότητα P(normal)=7/4=0.5. Στην περίπτωση που η απάντηση στην ερώτηση humidity είναι high έχουµε 4/7=0.57 πιθανότητα η τελική απάντηση να είναι no και 3/7=0.43 πιθανότητα η τελική απάντηση να είναι yes. Η πληροφορία που µας λείπει σε αυτή την περίπτωση είναι: I humidity=high =-0.57*log *log =0.57* *.22=0.99. Στην περίπτωση που η απάντηση στην ερώτηση humidity είναι normal έχουµε 6/7=0.86 πιθανότητα η τελική απάντηση να είναι yes και /7=0.4 πιθανότητα η τελική απάντηση να είναι no. Η πληροφορία που µας λείπει σε αυτή την περίπτωση είναι: I humidity=normal =-0.86*log *log 2 0.4=0.86* *2.84=0.59. Άρα η πληροφορία που αναµένεται να µας λείπει µετά την πρώτη ερώτηση, εφόσον αυτή αφορά το πεδίο humidity, είναι I humidity =P(high)* I humidity=high +P(normal)* I humidity=normal =0.5* *0.59=0.79 bits Το κέρδος από την ερώτηση humidity είναι Gain humidity =Ι-Ι humidity = =0.5 bits. Από τα παραπάνω φαίνεται ότι η ερώτηση που θα πραγµατοποιηθεί στη ρίζα του δένδρου αφορά τή µεταβλητή outlook. Το δένδρο λοιπόν αποφάσεων θα έχει την παρακάτω µορφή: outlook yes=0.64, no=0.36 sunny overcast rainy humidity yes=0.4, no=0.6 yes=, no=0 humidity yes=0.6, no=0.4 high normal high normal yes=0/3=0, no=3/3= yes=2/2= no=0/2=0 yes=/2=0.5 no=/2=0.5 yes=2/3=0.66 no=/3=0.33

10 ΑΠΑΝΤΗΣΤΕ 4 ΑΠΟ ΤΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΤΑ Ενδεικτικές λύσεις θα αναρτηθούν µετά την εξέταση στην ιστοσελίδα του µαθήµατος