Факултет организационих наука Центар за пословно одлучивање. Откривање законитости у подацима Вештачке неуронске мреже

Transcript

1 Факултет организационих наука Центар за пословно одлучивање Откривање законитости у подацима Вештачке неуронске мреже 1

2 П7: ВНМ О ВНМ Архитектуре ВНМ ВНМ апликације 2

3 EXPERT GDSS EXPERT SUPPORT? Модел ПИ PROBLEM PROCESS S SOLUTION COMPUTER SUPPORT MODELS RULES DSS ES ANN CBR DM DW 3 DB

4 Биолошки неурони Aксoн (oca) (Неурон 1) Нуклеус Синапсе (спојеви неурона) (Неурон 2) 4

5 Вештачки неурони Неурон X 1 Улаз W 1 Тежине X 2 X 3 W 2 W 3 Σ Трансфер Излаз (Y) X 4 W 4 Процесна јединица 5

6 Аналогија БНМ и ВНМ Биолошка Сома (тело ) Дендрони (дрво ) Оса Синапса Мала брзина Много неурона (10^9) Вештачка Чвор Улаз Излаз Тежина Велика брзина Мало неурона (стотине) 6

7 ВНМ структура EXPERT GDSS Улаз (Проблем): Захтев за кредит, Рад студента EXPERT SUPPORT? PROBLEM PROCESS S SOLUTION Тежине. Представљају интензитете структуре мреже. Подешавају се учењем. COMPUTER SUPPORT MODELS RULES Излаз (Решење). Одлука о кредиту, Оцена студента DSS ES ANN CBR DM DW DB 7

8 Основни појмови Неурон X 1 Улаз W 1 Тежине X 2 X 3 W 2 W 3 Σ Трансфер Излаз (Y) X 4 W 4 Процесна јединица 8

9 Ф-је агрегације и трансфера Функција агрегације Функција трансфера X 1 =3 X 2 =1 X 3 =2 W 1 =0.2 W 2 =0.4 W 3 =0.1 ЕЛЕМЕНАТ ПРОЦЕСИРАЊА Y=1.2 Функција агрегације: Y = 3.(0.2) + 1.(0.4) + 2.(0.1) = 1.2 Трансферна функција: 9

10 Примери агрегације (a) Један неурон (б) Више неурона X 1 X 1 W 11 EP Y 1 W 1 W 21 EP Y W 12 W 2 X 2 W 22 EP Y 2 X 2 Y=X 1 W 1 +X 2 W 2 Y 1 =X 1 W 11 +X 2 W 21 Y 2 =X 1 W 12 +X 2 W 22 Y 3 =X 2 W 2 3 W 23 EP Y 3 10

11 Структуре ВНМ Вишеслојни перцептрон ВНМ са ф-јoм радијалне основе Кохонен самоорганизујуће мапе (СОМ) Хопфилдова мрежа Линеарни асоцијатор 11

12 Вишеслојни перцептрон Решавају задатке: 12

13 Вишеслојни перцептрон Решавају задатке: 13

14 Архитектура ВНМ Излазни слој EP EP EP f(y ) j W j4 ТРАНСФЕР Скривени слој EP J EP X 4 СУМИРАЊЕ W j1 X 3 EP EP EP EP X 1 W j2 X 2 W j3 Улазни слој 14

15 ВНМ са ф-јама радијалне основе (RBFN) Вишеслојни перцептрон са једним скривеним слојем Ф-ја трансфера Решавају задатке: 15

16 Кохонен саморганизујуће мапе 16

17 Кохонен саморганизујуће мапе Решавају задатке: 17

18 Кохонен саморганизујуће мапе 18

19 Хопфилдова мрежа Ф-ја трансфера Одскочна ф-ја Решавају задатке: 19

20 Линеарни асоцијатор Решавају задатке: neuro.nnov.ru 20

21 Информациони ток унапред Структуре ВНМ Излаз A Излаз B Излаз C Скривени слој Двоструки слој Улаз 1 Улаз 2 Улаз 3 Асоцијативна меморија Улази 21

22 Особине ВНМ Простирање сигнала Број неурона и слојева Врсте ф-је трансфера Повезивање неурона 22

23 Учење ВНМ ВНМ учи на основу записа из прошлости (случаја). Процес се састоји од три активности: 1. Рачунање излаза 2. Упоређивање излаза ВНМ са жељеним излазом 3. Подешавање тежина и понављање процеса Рачунање излаза Подешавање тежина Да ли је достигнут жељени излаз? СТОП 23

24 Бекпропагејшн алгоритам Вишеслојни перцептрон, RBFN Рачуна се грешка класификације δ на основу тачности добијене почетним тежинама W Потом се рачунajу нове тежине као W(t) = W(t+1) + ΔW ΔW = η*(- δ /W ) (антиградијент) 24

25 Хебово учење Асоцијативна меморија, Хопфилдова мрежа Cells that fire together, wire together ΔW = η*(xi * xj) Jaчина везе коваријанса Трениране тежине: Прва главна компонента 25

26 Компететивно учење Самоорганизујуће мапе 1. Инцијализација центроида у свим ћелијама мапе, 2. Избор случаја који се додељује центроиду, 3. Додељивање центроиду (капљица!!!), У зависности од близине (опада временом) модификација центроида 4. Заустављање учења. 26

27 Општа подела алгоритама учења Надгледано учење Ненадгледано учење 27

28 Развојни процес ВНМ ПРИКУПЉАЊЕ ПОДАТАКА Више података Бољи подаци ПРИПРЕМА ПОДАТАКА ДЕЉЕЊЕ ПОДАТКА НА УЧЕЊЕ И ТЕСТИРАЊЕ Поновно раздвајање Поновно подешавање ПОЧЕТАК УЧЕЊА И ПОДЕШАВАЊЕ ТЕЖИНА ОДРЕЂИВАЊЕ СТРУКТУРЕ ВНМ Поновно реструктурирање ИЗБОР АЛГОРИТМА УЧЕЊА Избор другог алгортима ЗАУСТАВЉАЊЕ УЧЕЊА И ТЕСТИРАЊЕ ПОДЕШАВАЊЕ ПАРАМЕТАРА, ВРЕДНОСТИ И ТЕЖИНА Поновно подешавање УПОТРЕБА 28

29 Учење ВНМ Логичко ИЛИ Тежине се подешавају: Улаз Случај X 1 X 2 Жељени излаз W i (ново) = W i (старо) + (alfa)x(delta)x(x i ) alfa стопа учења delta = Z j Y j (Z, Y жељени и стварни излаз). 29

30 Пример W 1 = *0*0=0.1 W 2 = *0*0= Start End Step X 1 X 2 Z W 1 W 2 Y Delta W 1 W Параметри: alfa=0.2, treshold =0.5 W 1 = *1*0=0.1 W 2 = *1*1=0.5 30

31 Предности и ограничења Учење са недостајућим подацима Учење са подацима са шумом Адаптивност Паралелизација учења Велика међузависност атрибута Људски недостаци, лоша интерпретација 31

32 Предвиђање извоза ел. енергије ПОДАЦИ ЗА ТРЕНИНГ И ТЕСТИРАЊЕ ВЕШТАЧКЕ НЕУРОНСКЕ МРЕЖЕ Година Производња Извоз Производња Извоз Производња Извоз Предвиђање Грешка Година Година енергије енергије енергије енергије енергије енергије мреже у % ,50 11, ,50 16, ,00 13, ,30 3, ,50 5, ,00 4, ,00 6, ,00 4, ,50 0, ,50 13, Подаци за учење и тестирање 32

33 Примене Препознавање говора, облика, слика Менаџмент и маркетинг Финансије Временска прогноза Медицина Екологија 33

34 Следећи пут Системи за препоручивање (Recommender Systems) Gostujuće predavanje: Stefan Jovanović (Nordeus) 34

35 Питања за студенте Молим Вас да заузмете позицију за тест Одложите све материјале са предавања Спустите оловку Тест траје 2 минута 35