ΘΕΜΑ 1 ο (2.5 κνλάδεο) ΠΑΝΕΠΙΣΗΜΙΟ ΜΑΚΕΔΟΝΙΑ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΣΜΗΜΑ ΕΦΑΡΜΟΜΕΝΗ ΠΛΗΡΟΦΟΡΙΚΗ ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ Σελικέρ εξετάσειρ Παπασκεςή 18 Ιοςνίος 2010 18:00-21:00 Έζησ φηη έλα απζαίξεην λεπξσληθφ δίθηπν έρεη έλα κνλαδηθφ βάξνο x. Έζησ φηη κε θάπνηνλ άγλσζην ηξφπν έρνπκε θαηαθέξεη λα ππνινγίζνπκε ην ζθάικα ελφο λεπξσληθνχ δηθηχνπ σο ζπλάξηεζε ηνπ βάξνπο ηνπ θαη απηφ ηζνχηαη E = (x-2) 2. Γλσξίδνπκε φηη ν θαλφλαο δέιηα γηα ηε κεηαβνιή ησλ βαξψλ θαηά ηελ εθπαίδεπζε πξνθχπηεη απφ ηε ζρέζε: w d E w α) Έζησ φηη ε αξρηθή ηηκή ηνπ βάξνπο είλαη x=0. Πνηα ζα είλαη ε λέα ηηκή ηνπ βάξνπο κεηά ηελ πξψηε επνρή εθπαίδεπζεο, εάλ ππνζέζνπκε φηη d=1; Πνηα ζα είλαη ε λέα ηηκή ηνπ βάξνπο κεηά ηε δεχηεξε επνρή εθπαίδεπζεο, εάλ ππνζέζνπκε φηη d=1; Τη πξφβιεκα παξαηεξείηε; Πνχ νθείιεηαη; β) Δπαλαιάβεηε ηε δηαδηθαζία ηνπ εξσηήκαηνο (α), ζεσξψληαο κεηαβιεηφ ξπζκφ κάζεζεο κε αξρηθή ηηκή d=0.1, ν νπνίνο ζα απμάλεηαη θαηά έλαλ παξάγνληα 2 θάζε θνξά πνπ ην ζθάικα κεηψλεηαη θαη ζα κεηψλεηαη θαηά έλαλ παξάγνληα 0.1 θάζε θνξά πνπ ην ζθάικα ζα απμάλεηαη. α) Αξθεί λα εθαξκφζνπκε ηε ζρέζε πνπ καο δίλεηαη. Έρνπκε ινηπφλ φηη: E d 2( x 2) 2*( 2) 4 Άξα ε λέα ηηκή ηνπ βάξνπο ζα ηζνχηαη κε 4. Σηε δεχηεξε επνρή, εθαξκφδνληαο ηνλ παξαπάλσ ηχπν έρνπκε: E d 2( x 2) 2*(4 2) 4 Άξα ε λέα ηηκή ηνπ βάξνπο, κεηά ηε δεχηεξε επνρή εθπαίδεπζεο είλαη x=0. Παξαηεξνχκε φηη ην βάξνο ηαιαληψλεηαη γχξσ απφ ηελ ηηκή x=2, γηα ηελ νπνία είλαη πξνθαλέο φηη ειαρηζηνπνηείηαη ην ζθάικα. Τν πξφβιεκα νθείιεηαη ζηε κεγάιε ηηκή ηνπ ζπληειεζηή d. β) Αξθεί λα εθαξκφζνπκε ηε ζρέζε πνπ καο δίλεηαη. Έρνπκε ινηπφλ φηη: E d 0.2( x 2) 2*( 2) 0.4
Άξα ε λέα ηηκή ηνπ βάξνπο ζα ηζνχηαη κε 0.4. Δίλαη πξνθαλέο φηη ην ζθάικα κεηψζεθε, νπφηε ν ξπζκφο κάζεζεο απμάλεηαη απφ 0.1 ζε 0.2. Σηε δεχηεξε επνρή, εθαξκφδνληαο ηνλ παξαπάλσ ηχπν έρνπκε: E d 0.4( x 2) 0.4*(0.4 2) 0.64 Άξα ε λέα ηηκή ηνπ βάξνπο, κεηά ηε δεχηεξε επνρή εθπαίδεπζεο είλαη x=1.04. ΘΕΜΑ 2 ο (2.5 κνλάδεο) Πεξηγξάςηε ην πξφβιεκα ηεο ππεξπξνζαξκνγήο ελφο λεπξσληθνχ δηθηχνπ ζηα δεδνκέλα εθπαίδεπζεο; Πξνηείλεηε δχν δηαθνξεηηθέο κεζφδνπο αληηκεηψπηζήο ηνπ. Γείηε δηαθάλεηεο απφ 94 έσο 104. Γχν κέζνδνη αληηκεηψπηζήο ηνπ είλαη ε ηξνπνπνηεκέλε ζπλάξηεζε ζθάικαηνο θαη ε πξφσξε δηαθνπή. Μηα ηξίηε κέζνδνο πνπ έρεη αλαθεξζεί ζην κάζεκα είλαη απηή ηεο k-πιεο δηαζηαπξσκέλεο επηθχξσζεο (k-fold cross validation, http://en.wikipedia.org/wiki/cross-validation_(statistics)). ΘΕΜΑ 3 ο (2.5 κνλάδεο) Έζησ ηα παξαθάησ 10 ζεκεία ζε επίπεδν x-y: #1 (1,2) #6 (3,9) #2 (2,3) #7 (4,8) #3 (3,1) #8 (2,10) #4 (2,4) #9 (7,9) #5 (4,7) #10 (9,9) 10 9 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 10 Έρεηε έλα δίθηπν νκαδνπνίεζεο ηχπνπ Kohonen κε 3 αληαγσληζηηθνχο λεπξψλεο θαη δχν εηζφδνπο ν θαζέλαο. Αξρηθά ηα βάξε ησλ λεπξψλσλ είλαη φια ζην (5, 5). Γείμηε ηελ εμέιημε ησλ βαξψλ ησλ
ηξηψλ λεπξψλσλ θαηά ηηο δχν πξψηεο επνρέο εθπαίδεπζεο. Χξεζηκνπνηείζηε αθξίβεηα ελφο δεθαδηθνχ ςεθίνπ. Τη παξαηεξείηε; Γίλεηαη ν θαλφλαο κάζεζεο Kohonen: ΓW=a(X-W), φπνπ W ην δηάλπζκα βαξψλ ηνπ ληθεηή λεπξψλα θαη Χ ην ηξέρνλ δηάλπζκα εηζφδνπ. Θεσξείζηε φηη ν ξπζκφο εθπαίδεπζεο ηζνχηαη κε a=0.5. Ο παξαθάησ πίλαθαο δείρλεη ηελ αιιαγή ησλ βαξψλ ηνπ ληθεηή λεπξψλα θάζε θνξά: Παιηά βάξε Νέα βάξε #1 (1,2) (5,5) (5,5) (5,5) (3,3.5) (5,5) (5,5) #2 (2,3) (3,3.5) (5,5) (5,5) (2.5,3,2) (5,5) (5,5) #3 (3,1) (2.5,3,2) (5,5) (5,5) (2.7,2.1) (5,5) (5,5) #4 (2,4) (2.7,2.1) (5,5) (5,5) (2.3,3) (5,5) (5,5) #5 (4,7) (2.3,3) (5,5) (5,5) (2.3,3) (4.5,6) (5,5) #6 (3,9) (2.3,3) (4.5,6) (5,5) (2.3,3) (3.7,7.5) (5,5) #7 (4,8) (2.3,3) (3.7,7.5) (5,5) (2.3,3) (4.2,7.7) (5,5) #8 (2,10) (2.3,3) (4.2,7.7) (5,5) (2.3,3) (3.1,8.8) (5,5) #9 (7,9) (2.3,3) (3.1,8.8) (5,5) (2.3,3) (5.0,8.9) (5,5) #10 (9,9) (2.3,3) (5.0,8.9) (5,5) (2.3,3) (7.0, 9) (5,5) #1 (1,2) (2.3,3) (7.0, 9) (5,5) (1.6,2.5) (7.0, 9) (5,5) #2 (2,3) (1.6,2.5) (7.0, 9) (5,5) (1.8,2.7) (7.0, 9) (5,5) #3 (3,1) (1.8,2.7) (7.0, 9) (5,5) (2.4,1.8) (7.0, 9) (5,5) #4 (2,4) (2.4,1.8) (7.0, 9) (5,5) (2.2,2.9) (7.0, 9) (5,5) #5 (4,7) (2.2,2.9) (7.0, 9) (5,5) (2.2,2.9) (7.0, 9) (4.5,6) #6 (3,9) (2.2,2.9) (7.0, 9) (4.5,6) (2.2,2.9) (7.0, 9) (3.7,7.5) #7 (4,8) (2.2,2.9) (7.0, 9) (3.7,7.5) (2.2,2.9) (7.0, 9) (3.8,7.7) #8 (2,10) (2.2,2.9) (7.0, 9) (3.8,7.7) (2.2,2.9) (7.0, 9) (2.9,8.8) #9 (7,9) (2.2,2.9) (7.0, 9) (2.9,8.8) (2.2,2.9) (7.0, 9) (2.9,8.8) #10 (9,9) (2.2,2.9) (7.0, 9) (2.9,8.8) (2.2,2.9) (8.0, 9) (2.9,8.8) Απφ ηνλ παξαπάλσ πίλαθα παξαηεξνχκε ηα εμήο: Σηελ πξψηε επνρή εθπαίδεπζεο ν πξψηνο λεπξψλαο «θέξδηζε» ζηα 4 πξψηα παξαδείγκαηα θαη ν δεχηεξνο λεπξψλαο ζηα ππφινηπα 6. Σηε δεχηεξε επνρή εθπαίδεπζεο ν πξψηνο λεπξψλαο θέξδηζε θαη πάιη ζηα 4 πξψηα παξαδείγκαηα, ν ηξίηνο λεπξψλαο θέξδηζε ζηα παξαδείγκαηα #5 θαη #6 θαη ν δεχηεξνο λεπξψλαο θέξδηζε ζηα ηειεπηαία 4 παξαδείγκαηα. Θέμα 4 ο (2.5 κνλάδεο) Έζησ ην πξφβιεκα ηνπ ζάθνπ. Δηδηθφηεξα έρνπκε έλα ζάθν ρσξεηηθφηεηαο 20 κνλάδσλ φγθνπ θαη νθηψ αληηθείκελα κε φγθνπο θαη αμίεο πνπ θαίλνληαη ζηνλ παξαθάησ πίλαθα: Αντικείμενο #1 #2 #3 #4 #5 #6 #7 #8 Όγθνο 5 4 7 6 3 7 9 3 Αμία 7 11 14 6 9 10 8 4
Σρεδηάζηε έλαλ γελεηηθφ αιγφξηζκν γηα λα επηιέμεηε ηα αληηθείκελα πνπ ζα βάιεηε ζην ζάθν. Χξεζηκνπνηείζηε πιεζπζκφ 4 ρξσκνζσκάησλ πνπ αλαλεψλεηαη πιήξσο απφ γεληά ζε γεληά. Πξνζνκνηψζηε ηελ εθηέιεζε ηνπ γελεηηθνχ αιγνξίζκνπ γηα κία γεληά, ρξεζηκνπνηψληαο ηνπο παξαθάησ ηπραίνπο αξηζκνχο. 0,845906 0,699906 0,804964 0,24837 0,953562 0,182875 0,718099 0,500637 0,260707 0,51551 0,053112 0,176151 0,201165 0,051985 0,911086 0,848564 0,797826 0,02498 0,982153 0,773314 0,111153 0,425937 0,799184 0,003772 0,511986 0,039528 0,0949 0,753538 0,383606 0,282382 0,533785 0,26562 0,625642 0,168813 0,32458 0,802747 0,228018 0,430107 0,805005 0,792106 0,322577 0,833281 0,047505 0,402989 0,095117 0,208419 0,880189 0,63158 0,212821 0,695394 0,666313 0,036825 0,491645 0,759548 0,015177 0,745192 0,370872 0,694574 0,949447 0,410079 0,157394 0,683835 0,021218 0,809754 0,430536 0,986256 0,661978 0,748426 0,04401 0,52991 0,257874 0,879656 0,452001 0,850174 0,587847 0,544318 0,951598 0,269536 0,692583 0,168351 0,487436 0,828461 0,191923 0,68631 0,561896 0,090307 0,024886 0,011928 0,355429 0,78068 0,376034 0,857876 0,898942 0,465213 0,001193 0,816935 0,114765 0,135921 0,443778 0,915991 Θα ρξεζηκνπνηήζνπκε δπαδηθά ρξσκνζψκαηα νθηψ ζέζεσλ, κε θάζε ζέζε λα αληηζηνηρεί ζε έλα αληηθείκελν θαη ην 1 λα δειψλεη ηελ επηινγή ηνπ αληηθεηκέλνπ ελψ ην 0 ηε κε επηινγή ηνπ. Τν πξφβιεκα ησλ κε έγθπξσλ ρξσκνζσκάησλ, δειαδή απηψλ πνπ αληηζηνηρνχλ ζε ζπλνιηθφ φγθν επηιεγκέλσλ αληηθεηκέλσλ κεγαιχηεξν απφ ηε ρσξεηηθφηεηα ηνπ ζάθνπ, ζα ην αληηκεησπίζνπκε κε ρξήζε αξλεηηθήο βαζκνινγίαο. Δηδηθφηεξα ζα νξίζνπκε κηα ζπλάξηεζε ηηκσξίαο Pen(x) σο εμήο: 0, Pen( x) 3( N i1 αλ N i1 x( V ( C x( V ( C) αιιηψο φπνπ x( ε ηηκή ηνπ i-νζηνχ bit ηνπ ρξσκνζψκαηνο x θαη V( ν φγθνο ηνπο i-νζηνχ αληηθεηκέλνπ. Ζ παξαπάλσ ζπλάξηεζε ηηκσξεί ηηο ππεξβάζεηο κε 3 θνξέο ην πνζφ ηεο ππέξβαζεο. Ωο ζπλάξηεζε αμηνιφγεζεο ζα ρξεζηκνπνηήζνπκε ηε ζπλάξηεζε: eval( x) N i1 x( P( Pen ( x) Γηα ηε δεκηνπξγία ηνπ αξρηθνχ πιεζπζκνχ ζα ρξεζηκνπνηήζνπκε ηνπο πξψηνπο 32 αξηζκνχο. Δηδηθφηεξα, γηα φζνπο αξηζκνχο είλαη κηθξφηεξνη απφ 0.5 ην αληίζηνηρν bit ζα είλαη κεδέλ, ελψ γηα φζνπο αξηζκνχο είλαη κεγαιχηεξνη απφ 0.5 ην αληίζηνηρν bit ζα είλαη έλα. Ο αξρηθφο καο πιεζπζκφο είλαη ινηπφλ: # Χξσκφζσκα Όγθνο Αμία ρσξίο ηηκσξία Αμία κε ηηκσξία 1 11101011 31 53 20 2 01000011 16 23 23 3 10110010 27 35 14 4 10010010 20 21 21 Σηε ζπλέρεηα πξέπεη λα ζρεκαηίζνπκε 2 δεπγάξηα ρξσκνζσκάησλ. Τν άζξνηζκα ησλ αμηψλ (κε ηηκσξία) είλαη 78. Δπηιέγνπκε ινηπφλ 4 ηπραίνπο αξηζκνχο απφ ην 0 σο ην 78 (πνιιαπιαζηάδνληαο ηνπο ηέζζεξηο επφκελνπο αξηζκνχο ηνπ πίλαθα κε ην 78) θαη εάλ θάπνηνο απφ απηνχο είλαη ζην δηάζηεκα [0,20) επηιέγνπκε ην #1 ρξσκφζσκα, εάλ είλαη ζην [20,43) επηιέγνπκε ην #2 ρξσκφζσκα, εάλ είλαη ζην [43,57) επηιέγνπκε ην #3 ρξσκφζσκα θαη εάλ είλαη ζην [57,78)
επηιέγνπκε ην #4 ρξσκφζσκα. Σε πεξίπησζε πνπ γηα θάπνην δεπγάξη επηιεγεί δχν θνξέο ην ίδην ρξσκφζσκα, ρξεζηκνπνηνχκε επφκελν ηπραίν αξηζκφ, κέρξη λα επηιεγεί δηαθνξεηηθφ ρξσκφζσκα. Οη επφκελνη 4 ηπραίνη αξηζκνί ινηπφλ (πνιιαπιαζηαζκέλνη κε 78) είλαη νη: 48,800076 13,167414 25,31724 62,614266 θαη ηα δεπγάξηα ρξσκνζσκάησλ πνπ ζρεκαηίδνληαη είλαη ηα: 3-1 2-4 Γηα ην πξψην δεπγάξη επηιέγνπκε έλαλ ηπραίν αξηζκφ απφ ην 0 έσο ην 9 (πνιιαπιαζηάδνληαο ηνλ επφκελν ηπραίν αξηζκφ επί 9 θαη παίξλνληαο ην αθέξαην κέξνο ηνπ απνηειέζκαηνο σο ζέζε δηαζηαχξσζεο), πνπ αληηζηνηρεί ζην ζεκείν δηαζηαχξσζεο (κπνξεί ε δηαζηαχξσζε λα γίλεη θαη ζηα άθξα ησλ ρξσκνζσκάησλ, γεγνλφο πνπ ζεκαίλεη φηη νη απφγνλνη ζα είλαη ίδηνη κε ηνπο γνλείο). Σηελ πξνθεηκέλε πεξίπησζε ν αξηζκφο πνπ πξνθχπηεη είλαη ν 2,052162, πνπ ζεκαίλεη φηη ε δηαζηαχξσζε ζα γίλεη κεηά ην 2 ν bit. Έηζη νη δχν απφγνλνη είλαη νη: 10101011 11110010 Γηα θάζε έλαλ απφ ηνπο απνγφλνπο εμεηάδνπκε ην ελδερφκελν λα γίλεη κεηάιιαμε. Έζησ φηη ε πηζαλφηεηα κεηάιιαμεο είλαη 0.01. Δμεηάδνπκε ηνπο επφκελνπο 16 αξηζκνχο, εάλ θάπνηνο απφ απηνχο είλαη κηθξφηεξνο απφ 0.01 ηφηε ην αληίζηνηρν bit αιιάδεη ηηκή. Κάηη ηέηνην δελ ζπκβαίλεη, νπφηε δελ πξαγκαηνπνηείηαη θακία κεηάιιαμε. Σηε ζπλέρεηα επηιέγνπκε ζεκείν δηαζηαχξσζεο γηα ην δεχηεξν δεπγάξη, ην νπνίν είλαη ε 6 ε ζέζε (ηπραίνο αξηζκφο: 6,835932). Έηζη νη δχν απφγνλνη είλαη νη: 01000010 10010011 Καη πάιη ειέγρνπκε ηελ πηζαλφηεηα κεηάιιαμεο, αιιά ζηνπο 16 επφκελνπο αξηζκνχο δελ ππάξρεη θάπνηνο κηθξφηεξνο απφ 0.01, νπφηε δελ πξαγκαηνπνηείηαη θακία κεηάιιαμε. Τν λέν ζχλνιν ρξσκνζσκάησλ κε ηα ραξαθηεξηζηηθά ηνπο είλαη ινηπφλ ην: # Χξσκφζσκα Όγθνο Αμία ρσξίο ηηκσξία Αμία κε ηηκσξία 1 10101011 27 42 21 2 11110010 31 46 13 3 01000010 13 19 19 4 10010011 23 25 16 Ζ δηαδηθαζία πνπ πεξηγξάθεθε παξαπάλσ πξέπεη λα ζπλερηζζεί κέρξηο φηνπ είηε λα ζπγθιίλεη ν πιεζπζκφο είηε λα ζπκπιεξσζεί θάπνηνο πξνθαζνξηζκέλνο αξηζκφο επαλαιήςεσλ. Σε θάζε πεξίπησζε σο «ιχζε» ζα επηζηξαθεί ην θαιχηεξν έγθπξν ρξσκφζσκα πνπ ζπλαληήζεθε ζε φιεο ηηο γεληέο πιεζπζκψλ θαηά ην ηξέμηκν ηνπ αιγνξίζκνπ. ΘΕΜΑ 5 ο (2.5 κνλάδεο) Γίλεηαη ην παξαθάησ ζχλνιν δεδνκέλσλ πνπ αθνξά αγνξέο δηαθφξσλ θαηεγνξηψλ πξντφλησλ απφ ηνπο πειάηεο ελφο ζνχπεξ-κάξθεη. # Ζσμαρικά άλτσες Αναψσκτικά Απορρσπαντικά Κατεψσγμένα 1 2 3 4 5 6
7 8 9 10 11 12 13 14 Ζ δηνίθεζε ηνπ ζνχπεξ-κάξθεη ζέιεη λα αλαθαιχςεη ζπζρεηίζεηο κεηαμχ ησλ δηαθφξσλ πξντφλησλ, ψζηε λα ηνπνζεηήζεη ζρεηηθά πξντφληα ζε θνληηλά ξάθηα. Βξείηε φινπο ηνπο θαλφλεο ζπζρέηηζεο κε κία ππφζεζε θαη έλα ζπκπέξαζκα, πνπ έρνπλ ειάρηζηε ππνζηήξημε 5 θαη ειάρηζηε εκπηζηνζχλε 75%. Βξίζθνπκε θαηαξρήλ φια ηα ζχλνια ελφο ζηνηρείνπ κε ππνζηήξημε ηνπιάρηζηνλ 5: {Επκαξηθά=λαη}=8, {Επκαξηθά=φρη}=6 {Σάιηζεο=λαη}=10 {Αλαςπθηηθά=φρη}=10 {Απνξξππαληηθά=λαη}=8, {Απνξξππαληηθά=φρη}=6 {Καηεςπγκέλα=λαη}=5, {Καηεςπγκέλα=φρη}=9. Σηε ζπλέρεηα βξίζθνπκε φια ηα ζχλνια δχν ζηνηρείσλ, πνπ έρνπλ ππνζηήξημε ηνπιάρηζηνλ 5. Γηα ην ζθνπφ απηφ ζπλδπάδνπκε δεχγε απφ ηα παξαπάλσ ζχλνια ελφο ζηνηρείνπ: {Επκαξηθά=λαη, Σάιηζεο=λαη}=6, {Επκαξηθά=λαη, Αλαςπθηηθά=φρη}=5, {Επκαξηθά=λαη, Απνξξππαληηθά=φρη}=5, {Επκαξηθά=λαη, Καηεςπγκέλα=φρη}=5, {Σάιηζεο=λαη, Αλαςπθηηθά=φρη}=5, {Σάιηζεο=λαη, Απνξξππαληηθά=λαη}=7, {Σάιηζεο=λαη, Καηεςπγκέλα=φρη}=6, {Αλαςπθηηθά=φρη, Απνξξππαληηθά=λαη}=6, {Αλαςπθηηθά=φρη, Καηεςπγκέλα=φρη}=6, Απφ θάζε ζχλνιν δχν ζηνηρείσλ {Α,Β} κπνξνχλ λα πξνθχςνπλ δχν θαλφλεο: if A then B θαη if B then A. Ζ εκπηζηνζχλε θάζε ηέηνηνπ θαλφλα ηζνχηαη κε ην ιφγν ηεο ππνζηήξημεο ησλ δχν ζηνηρείσλ πξνο ηελ ππνζηήξημε ηεο πξνυπφζεζεο ηνπ θαλφλα. Παξαθάησ παξαζέηνπκε φινπο ηνπο θαλφλεο πνπ πξνθχπηνπλ θαη πιεξνχλ ην θξηηήξην ηεο εκπηζηνζχλεο: 1. if Επκαξηθά=λαη then Σάιηζεο=λαη (6/8=0.75) 2. if Απνξξππαληηθά=φρη then Επκαξηθά=λαη (5/6=0.83) 3. if Απνξξππαληηθά=λαη then Σάιηζεο=λαη (7/8=0.875) 4. if Απνξξππαληηθά=λαη then Αλαςπθηηθά=φρη (6/8=0. 75) ΑΠΑΝΣΗΣΕ 4 ΑΠΟ ΣΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΣΑ