ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ

Transcript

1 ΘΕΜΑ ο (.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Πέµπτη 7 Ιανουαρίου 8 5:-8: Σχεδιάστε έναν αισθητήρα (perceptron) δύο εισόδων (βηµατική συνάρτηση ενεργοποίησης), ο οποίος υλοποιεί τη λογική συνάρτηση A w Β. Υπόδειξη: Μην εκτελέσετε εκπαίδευση µε τον κανόνα δέλτα, αλλά βρείτε µια ευθεία η οποία διαχωρίζει τα παραδείγµατα εκπαίδευσης, υπολογίστε τις παραµέτρους της και από αυτές υπολογίστε τα βάρη του αισθητήρα. Απάντηση: Έστω ότι έχουµε τέσσερα παραδείγµατα, για όλους τους συνδυασµούς δυαδικών τιµών για τις µεταβλητές εισόδου Α και Β: # Α Β Έξοδος ( A w Β) 3 4 Σε δισδιάστατο διάγραµµα σχεδιάζουµε µια ευθεία η οποία διαχωρίζει τα τέσσερα παραδείγµατα: Β.5 Στο παραπάνω διάγραµµα µε λευκούς κύκλους φαίνονται τα παραδείγµατα που αντιστοιχούν στην έξοδο και µε µαύρο κύκλο το παράδειγµα που αντιστοιχεί στην έξοδο. Τα παραδείγµατα είναι φανερά γραµµικώς διαχωρίσιµα. Η διακεκοµµένη ευθεία κλίσης -45 ο διαχωρίζει σωστά τα παραδείγµατα (και µάλιστα το κάνει µε τον καλύτερο δυνατό τρόπο). Θα προσπαθήσουµε να βρούµε την εξίσωση αυτής της ευθείας. Αυτή θα είναι της µορφής α*α+β*β+γ, όπου αναζητάµε τους συντελεστές α, β και γ. Η ευθεία αυτή διέρχεται από δύο γνωστά σηµεία, τα (.5, ) και (,.5). Άρα η εξίσωσή της ικανοποιεί τις σχέσεις:.5 Α

2 α*.5+γ α*+β*.5+γ. Θέτοντας αυθαίρετα την τιµή γ-3 παίρνουµε α και β. Άρα η εξίσωση της ευθείας γίνεται: *Α+*Β-3 () Παρακάτω φαίνεται το µοντέλο του αισθητήρα. Θεωρούµε τάση πόλωσης ίση µε. b w b A w A Γ Av Β w B B Ο αισθητήρας παράγει έξοδο όταν ισχύει: w A *A+w B *B+w b () Συγκρίνοντας την εξίσωση () µε την () προκύπτει ότι αυτές ταυτίζονται όταν w A, w B και w b -3. Στο σηµείο αυτό όµως χρειάζεται προσοχή, γιατί η εξίσωση () θα µπορούσε να γραφεί και ως: -*Α-*Β+3 (3) όπου η (3) προέκυψε από την () µε πολλαπλασιασµό των δύο µερών της µε -. Οι εξισώσεις () και (3) διαφέρουν κατά το ποιο ηµιεπίπεδο από τα δύο στα οποία χωρίζουν το επίπεδο αντιστοιχεί σε θετικές τιµές της παράστασης στο αριστερό σκέλος τους. Αντικαθιστώντας στο αριστερό σκέλος της () τις συντεταγµένες (Α, Β) παίρνουµε: *+*-3-3< ενώ για τις συγκεκριµένες εισόδους το παραπάνω άθροισµα έπρεπε να είναι θετικό, µιας και αναµένεται θετική έξοδος. Άρα η σωστή εξίσωση είναι η (3), από την οποία και θα προκύψουν τα βάρη του αισθητήρα. ΘΕΜΑ ο (.5 µονάδες) Έστω ένα δίκτυο αυτοοργάνωσης (self-organizing feature map) µε εισόδους και 9 ανταγωνιστικούς νευρώνες διατεταγµένους σε ορθογώνιο πλέγµα 3x3. Η τρέχουσα ακτίνα της γειτονιάς είναι. Στον παρακάτω πίνακα φαίνονται οι τρέχουσες τιµές των βαρών των νευρώνων. Συντεταγµένες νευρώνα ιάνυσµα βαρών (,) [.,.3] (,) [.,.5] (,3) [.,.7] (,) [.4,.3] (,) [.6,.6] (,3) [.5,.8] (3,) [.8,.] (3,) [.,.5] (3,3) [.7,.9] ίνεται το παράδειγµα εκπαίδευσης [.3,.]. είξτε πώς αλλάζουν τα βάρη των νευρώνων του δικτύου µετά την εµφάνιση του παραδείγµατος. Θεωρείστε απόσταση Manhattan και ρυθµό µάθησης a.5. ίνεται ο κανόνας µάθησης Kohonen: Wi'Wi+a(X-W. Απάντηση: Για το συγκεκριµένο παράδειγµα εκπαίδευσης θα βρούµε ποιος νευρώνας είναι ο νικητής, και θα χρησιµοποιούµε τον κανόνα Kohonen για να αλλάξουµε τα βάρη του. Στη συνέχεια θα βρούµε τους νευρώνες που βρίσκονται σε απόσταση έως από τον νικητή και θα αλλάξουµε και αυτών τα βάρη, χρησιµοποιώντας όµως ως ρυθµό µάθησης την τιµή a/.5.

3 Οι αποστάσεις των νευρώνων από το παράδειγµα είναι οι εξής: Νευρώνας (,): (.3-.) + (.-.3) (.) +(.) Νευρώνας (,): (.3-.) + (.-.5) (.) +(-.3).+.9. Νευρώνας (,3): (.3-.) + (.-.7) (.) +(-.5) Νευρώνας (,): (.3-.4) + (.-.3) (-.) Νευρώνας (,): (.3-.6) + (.-.6) (-.3) +(-.4) Νευρώνας (,3): (.3-.5) + (.-.8) (-.) +(-.6) Νευρώνας (3,): (.3-.8) + (.-.) (-.5) +(.) Νευρώνας (3,): (.3-.) + (.-.5) (-.7) +(-.3) Νευρώνας (3,3): (.3-.7) + (.-.9) (-.4) +(-.7) Από τα παραπάνω φαίνεται ότι νικητής είναι ο νευρώνας (,), οπότε η γειτονιά του αποτελείται από τους νευρώνες (,), (3,) και (,). Τα βάρη λοιπόν του νευρώνα (,) αλλάζουν σε: W (,) '[.4,.3]+.5([.3,.]-[.4,.3])[.4,.3]+.5([-.,-.]) [.4,.3]+[-.5,-.5][.35,.5] Θα αλλάξουν όµως και τα βάρη των γειτονικών νευρώνων ως εξής: W (,) '[.,.3]+.5([.3,.]-[.,.3])[.,.3]+.5([.,-.]) [.,.3]+[.5,-.5][.5,.75] W (3,) '[.8,.]+.5([.3,.]-[.8,.])[.8,.]+.5([-.5,]) [.8,.]+[-.5,][.675,.] W (,) '[.6,.6]+.5([.3,.]-[.6,.6])[.6,.6]+.5([-.3,-.4]) [.6,.6]+[-.75,-.][.55,.5] Τα βάρη των υπολοίπων νευρώνων δεν αλλάζουν. ΘΕΜΑ 3 ο (.5 µονάδες) Κατασκευάστε ένα δίκτυο Hopfield για την αποθήκευση των διανυσµάτων X [ - ] και X [ - - ]. Πώς συµπεριφέρεται το δίκτυο εάν εµφανιστεί στην είσοδό του το διάνυσµα Χ 3 [ ];

4 Απάντηση: Προφανώς το δίκτυο Hopfield θα αποτελείται από πέντε νευρώνες, κάθε ένας από τους οποίους συνδέεται µε όλους τους άλλους, εκτός από τον εαυτό του. Πρώτα υπολογίζουµε τα βάρη των συνδέσεων: [ ] [ ] + + W Επειδή όµως δεν υπάρχουν συνδέσεις από κάθε νευρώνα στον εαυτό του, τα διαγώνια στοιχεία του παραπάνω πίνακα µηδενίζονται: W Βρήκαµε λοιπόν τα βάρη των συνδέσεων του δικτύου Hopfield. Έστω τώρα ότι στο δίκτυο παρουσιάζεται η είσοδος X 3 [ ]. Θα υπολογίσουµε τις νέες εξόδους των νευρώνων µε τυχαία σειρά, έστω µε τη σειρά 3, 4,,, 5. Νέα έξοδος 3ου νευρώνα: [ ] ) (, 3 3 Φ S S Το διάνυσµα εισόδου λοιπόν παραµένει [ ]. Νέα έξοδος 4ου νευρώνα: [ ] ) ( 4, 4 4 Φ S S Το διάνυσµα πλέον γίνεται [ - ]. Στο σηµείο αυτό η είσοδος του δικτύου Hopfield έχει ταυτιστεί µε το διάνυσµα εκπαίδευσης X. Άρα αναµένουµε ότι στο εξής το διάνυσµα εισόδου δεν πρόκειται να µεταβληθεί παραπέρα, και άρα αυτή είναι η έξοδος του δικτύου Hopfield για αρχική είσοδο το διάνυσµα X 3.

5 Σηµείωση: Κανονικά βέβαια θα πρέπει στο σηµείο αυτό να επαναλάβουµε πέντε ακόµη υπολογισµούς εξόδου του δικτύου Hopfield, και εάν σε αυτούς δεν παρατηρηθεί καµία αλλαγή, τότε να ισχυριστούµε ότι το δίκτυο ισορρόπησε. Θέµα 4 ο (.5 µονάδες) Έστω το πρόβληµα του σάκου. Ειδικότερα έχουµε ένα σάκο χωρητικότητας µονάδων όγκου και οκτώ αντικείµενα µε όγκους και αξίες που φαίνονται στον παρακάτω πίνακα: Αντικείµενο # # #3 #4 #5 #6 #7 #8 Όγκος Αξία Σχεδιάστε έναν γενετικό αλγόριθµο για να επιλέξετε τα αντικείµενα που θα βάλετε στο σάκο. Χρησιµοποιείστε πληθυσµό 4 χρωµοσωµάτων που ανανεώνεται πλήρως από γενιά σε γενιά. Προσοµοιώστε την εκτέλεση του γενετικού αλγορίθµου για µία γενιά, χρησιµοποιώντας τους παρακάτω τυχαίους αριθµούς.,968548,6686,85647,338854,769895,538674,399,44673,5486,595757,944846,789,97835,85965,37935,754933,66798,7864,867,5746,84874,863,5948,63953,98994,34948,74854,38,776,8758,4339,7356,986,8488,795,33495,54745,8689,8637,8657,7543,93893,75749,87649,8774,869774,7946,5847,46639,4738,99345,35763,5,65437,94535,83946,8956,5444,6668,474,839,56639,3673,677,899,3787,4743,48565,5773,35787,485,87689,8959,86363,46445,49,88777,6499,35775,496,35396,57946,48,466359,6677,4686,85735,5757,37438,7989,56738,385,4968,9339,59,87675,555,66439,97399,9644 Απάντηση: Θα χρησιµοποιήσουµε δυαδικά χρωµοσώµατα οκτώ θέσεων, µε κάθε θέση να αντιστοιχεί σε ένα αντικείµενο και το να δηλώνει την επιλογή του αντικειµένου ενώ το τη µη επιλογή του. Το πρόβληµα των µη έγκυρων χρωµοσωµάτων, δηλαδή αυτών που αντιστοιχούν σε συνολικό όγκο επιλεγµένων αντικειµένων µεγαλύτερο από τη χωρητικότητα του σάκου, θα το αντιµετωπίσουµε µε χρήση αρνητικής βαθµολογίας. Ειδικότερα θα ορίσουµε µια συνάρτηση τιµωρίας Pen(x) ως εξής: N, αν x( V ( < C i Pen( x) N Pen(3 ( x( V ( C)) αλλιώς i όπου x( η τιµή του i-οστού bit του χρωµοσώµατος x και V( ο όγκος τους i-οστού αντικειµένου. Η παραπάνω συνάρτηση τιµωρεί τις υπερβάσεις µε 3 φορές το ποσό της υπέρβασης. Ως συνάρτηση αξιολόγησης θα χρησιµοποιήσουµε τη συνάρτηση: eval( x) N i x( P( Pen( x) Για τη δηµιουργία του αρχικού πληθυσµού θα χρησιµοποιήσουµε τους πρώτους 3 αριθµούς. Ειδικότερα, για όσους αριθµούς είναι µικρότεροι από.5 το αντίστοιχο bit θα είναι µηδέν, ενώ για όσους αριθµούς είναι µεγαλύτεροι από.5 το αντίστοιχο bit θα είναι ένα. Ο αρχικός µας πληθυσµός είναι λοιπόν: # Χρωµόσωµα Όγκος Αξία χωρίς τιµωρία Αξία µε τιµωρία

6 Στη συνέχεια πρέπει να σχηµατίσουµε ζευγάρια χρωµοσωµάτων. Το άθροισµα των αξιών (µε τιµωρία) είναι 77. Επιλέγουµε λοιπόν 4 τυχαίους αριθµούς από το ως το 77 (πολλαπλασιάζοντας τους τέσσερις επόµενους αριθµούς του πίνακα µε το 77) και εάν κάποιος από αυτούς είναι στο διάστηµα [,4) επιλέγουµε το # χρωµόσωµα, εάν είναι στο [4,36) επιλέγουµε το # χρωµόσωµα, εάν είναι στο [36,54) επιλέγουµε το #3 χρωµόσωµα και εάν είναι στο [54,77) επιλέγουµε το #4 χρωµόσωµα. Σε περίπτωση που για κάποιο ζευγάρι επιλεγεί δύο φορές το ίδιο χρωµόσωµα, χρησιµοποιούµε επόµενο τυχαίο αριθµό, µέχρι να επιλεγεί διαφορετικό χρωµόσωµα. Οι επόµενοι 4 τυχαίοι αριθµοί λοιπόν (πολλαπλασιασµένοι µε 77) είναι οι: 75,93 4,3 54,67 5,78 και τα ζευγάρια χρωµοσωµάτων που σχηµατίζονται είναι τα: 4-4- Για το πρώτο ζευγάρι επιλέγουµε έναν τυχαίο αριθµό από το έως το 9 (πολλαπλασιάζοντας τον επόµενο τυχαίο αριθµό επί 9 και παίρνοντας το ακέραιο µέρος του αποτελέσµατος ως θέση διασταύρωσης), που αντιστοιχεί στο σηµείο διασταύρωσης (µπορεί η διασταύρωση να γίνει και στα άκρα των χρωµοσωµάτων, γεγονός που σηµαίνει ότι οι απόγονοι θα είναι ίδιοι µε τους γονείς). Στην προκειµένη περίπτωση ο αριθµός που προκύπτει είναι ο 4,86, που σηµαίνει ότι η διασταύρωση θα γίνει µετά το 4 ο bit. Έτσι οι δύο απόγονοι είναι οι: Για κάθε έναν από τους απογόνους εξετάζουµε το ενδεχόµενο να γίνει µετάλλαξη. Έστω ότι η πιθανότητα µετάλλαξης είναι.. Εξετάζουµε τους επόµενους 6 αριθµούς, εάν κάποιος από αυτούς είναι µικρότερος από. τότε το αντίστοιχο bit αλλάζει τιµή. Κάτι τέτοιο δεν συµβαίνει, οπότε δεν πραγµατοποιείται καµία µετάλλαξη. Στη συνέχεια επιλέγουµε σηµείο διασταύρωσης για το δεύτερο ζευγάρι, το οποίο είναι η θέση 5 (τυχαίος αριθµός: 5,85). Έτσι οι δύο απόγονοι είναι οι: Και πάλι ελέγχουµε την πιθανότητα µετάλλαξης, αλλά στους 6 επόµενους αριθµούς δεν υπάρχει κάποιος µικρότερος από., οπότε δεν πραγµατοποιείται καµία µετάλλαξη. Το νέο σύνολο χρωµοσωµάτων µε τα χαρακτηριστικά τους είναι λοιπόν το: # Χρωµόσωµα Όγκος Αξία χωρίς τιµωρία Αξία µε τιµωρία Η διαδικασία που περιγράφηκε παραπάνω πρέπει να συνεχισθεί µέχρις ότου είτε να συγκλίνει ο πληθυσµός είτε να συµπληρωθεί κάποιος προκαθορισµένος αριθµός επαναλήψεων. Σε κάθε περίπτωση ως «λύση» θα επιστραφεί το καλύτερο έγκυρο χρωµόσωµα που συναντήθηκε σε όλες τις γενιές πληθυσµών κατά το τρέξιµο του αλγορίθµου. ΘΕΜΑ 5 ο (.5 µονάδες) α) Ορίστε την υποστήριξη (support) και την εµπιστοσύνη (confidence) ενός κανόνα συσχέτισης. β) Έστω ένα σύνολο δεδοµένων καιρού, που αφορούν την άποψη, τη θερµοκρασία και την υγρασία, όπως αυτά µετρήθηκαν το µεσηµέρι διαφόρων ηµερών. Οι τιµές των διαφόρων χαρακτηριστικών (πεδίων) του προβλήµατος είναι οι εξής: άποψη {ηλιοφάνεια, συννεφιά, βροχή} θερµοκρασία {θερµή, ήπια, δροσερή}

7 υγρασία {υψηλή, κανονική} Τα δεδοµένα φαίνονται στον παρακάτω πίνακα: άποψη θερµοκρασία υγρασία ηλιοφάνεια θερµή υψηλή ηλιοφάνεια θερµή υψηλή συννεφιά θερµή υψηλή βροχή ήπια υψηλή βροχή δροσερή κανονική βροχή δροσερή κανονική συννεφιά δροσερή κανονική ηλιοφάνεια ήπια υψηλή ηλιοφάνεια δροσερή κανονική βροχή ήπια κανονική ηλιοφάνεια ήπια κανονική συννεφιά ήπια υψηλή συννεφιά θερµή κανονική βροχή ήπια υψηλή Βρείτε όλους τους κανόνες µε µία υπόθεση και ένα συµπέρασµα που έχουν υποστήριξη τουλάχιστον 3 και αξιοπιστία τουλάχιστον 65%. # Κανόνας συσχέτισης Εµπιστοσύνη if άποψηβροχή then θερµοκρασίαήπια 3/5.6 if θερµοκρασίαήπια then άποψηβροχή 3/6.5 3 if άποψηηλιοφάνεια then υγρασίαυψηλή 3/5.6 4 if υγρασίαυψηλή then άποψηηλιοφάνεια 3/ if άποψηβροχή then υγρασίαυψηλή 3/5.6 6 if υγρασίαυψηλή then άποψηβροχή 3/ if θερµοκρασίαθερµή then υγρασίαυψηλή 3/ if υγρασίαυψηλή then θερµοκρασίαθερµή 3/ if θερµοκρασίαήπια then υγρασίαυψηλή 4/6.66 if υγρασίαυψηλή then θερµοκρασίαήπια 4/7.57 if θερµοκρασίαδροσερή then υγρασίακανονική 4/4 if υγρασίακανονική then θερµοκρασίαδροσερή 4/7.57 Από τα παραπάνω φαίνεται ότι οι κανόνες που πληρούν το κριτήριο της αξιοπιστίας είναι οι 7, 9 και. ΑΠΑΝΤΗΣΤΕ 4 ΑΠΟ ΤΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΤΑ