АТ-5 Вештачке неуронске мреже Проф. др Зоран Миљковић Методе одлучивања 1/35

Transcript

1 АТ-5 Вештачке неуронске мреже Проф. др Зоран Миљковић Методе одлучивања 1/35

2 Вештачке неуронске мреже Деф: Неуронска мрежа је парадигма вештачке интелигенције која се дефинише као конективни модел за резоновање заснован на аналогији са мозгом, уз наглашену когнитивну способност да учи и врши генерализацију стеченог знања. Парадигма образац, узор, примерзауглед; Конективан повезан; Когнитиван који се тиче сазнања, сазнајни, спознајни; Неуронске мреже обезбеђују значајне предности при решавању проблема процесирања који захтевају рад у реалном времену и интерпретацију односа између променљивих у вишедимензионалним просторима. 2/35

3 Општа структура вештачке неуронске мреже повратна рекурентна веза везат I=[ 2, 1, 2, 3,..., n ] T O=[o 1,o 2, o 3,...,o m ] T улазни слој скривени слој излазни слој У општем смислу, неуронске мреже представљају скуп једноставних процесирајућих елемената-неурона, међусобно повезаних везама са одговарајућим тежинским односима; Неуронске мреже имају способност адаптивног понашања према променама, што значи да могу да уче пресликавања између улазног и излазног простора и да синтетизују асоцијативну меморију. 3/35

4 Основне компоненте Три основне компоненте: Неурон; Топологијамреже; Алгоритамучења; Додатне компоненте: Величинамреже; Функционалностнеурона; Обучавање; Имплементација. θ j x f (net ) 1 (t) w 1 w 2 w 3 w 4 w 5 w 6 w x (t) f(w,x) h(s) f (net ) x n (t) w n w 1 w n x (t+1) Неурони (процесирајући елементи) примају улазне сигнале/информације од окружењаилиоддругихнеуронапрековезакојемогубитиекситационе (побуђивачке) илиинхибиторне. Прагактивацијенеурона θ ј јењегов окидач. 4/35

5 Неурон основни процесирајући елемент Три саставна елемента: улазни оператор f(w,x), који обједињује улазе и тежинске односе међусобних веза w и формира јединственувредност s=f(w,x)=w T x ; функција преноса h(s), која обрађује излаз из неуронскогулазногоператора (вршиинтеграцију), формирајући потребну вредност за активациону функцију; активационафункција f (net )којаобрађујућиизлаз функције преноса управља излазном вредношћу неурона. 5/35

6 Математичка формулација улазног оператора неурона Тип улазног оператора Математички израз Напомена Линеаран net ј = w ј x ј Линеарнафункција Тежинскасума net ј = w ј x ј + θ ј Најчешћекоришћен;унеким случајевимапраг θ ј = 0 Повратнавеза net ј = α net старо + β w ј x ј α, βсутежинскеконстанте Активација неурона (општа једначина): ( a ( t 1) net ( t) ) a = F, Неурон генерише излазни сигнал који је у релацији са његовом активацијом преко активационе функције, што се математички може изразити на следећи начин: ( t) = f ( a ( t) ) f ( net ( t) ) o = x = 6/35

7 Основне АФ: Активационе функције неурона линеарне, бинарне, сигмоидне, компетитивне и Линеарна активациона функција најједноставнија; сумира све улазе у неурон; Гаусове. l f ( net ( t ) ) net ( t) = Бинарна активациона функција f b ( net ( t) ) 1 = 0 ako je net ( t) ostalo > Ω f(net ) 1.0 θ = 0.4 Ω net a) b) 7/35

8 Активационе функције неурона Сигмоидна активациона функција Генерише излазни сигнал који има такође два стабилна стања; Континуална и диференцијабилна; Нелинеарна и неопадајућа. Математичка формулација: f s ( net ( t) ) = net ( t ) 1 + e или... 1 ( Θ ) / τ f (net ) 1.0- f (net ) = τ = 1.0 f (net ) = 0.25 f s* ( net ( t) ) = ( 1+ tanh( λ net ( t) )) 1 2 net 8/35

9 Алгоритми учења Модели неурона су динамички => општа диференцијална једначина: излаз -тог неурона, при чему је очигледно да се, због динамичких неуронских модела, ради о диференцирању по времену; улаз -тогнеурона net, зависиодизлазамногихнеуронасакојимајеувези, практично се развија систем спрегнутих нелинеарних диференцијалних једначина. w & = И модификацију тежинских односа потребно посматрати као динамички систем => систем диференцијалних једначина за тежинске односе A представљаалгоритамучења; j x & = g, A ( x net ) Процес учења: одређивање тежинских односа кроз итеративни поступак њихове модификације; Избор одговарајућег алгоритма учења, сходно апликацији за коју се мрежа користи, представљазначајанпроблемприпројектовањумреже. ( w x, x,...) j, j 9/35

10 Алгоритми учења Алгоритам учења Математичка формулација Напомене Hebb-овоправило (1949) Φ/ t = О(t)[I (t) О(t)Φ (t)] О(t) излазнеурона I (t) улазиунеурон Φ (t) јачинасинаптичкихвеза Wdrow-Hoff-ово правило (1960) (LMS- least mean square алгоритам, тј. алгоритам најмање квадратне разлике) w(t+1) = w(t) + 2µ ε к x к x k k- ти улазнивектор w тежинскивектор µ позитивна константа ε к тренутнаразлика (грешка) између захтеване вредности излаза (d к )и актуелневредности (y к ) Генералисано делта правило (1986) (простирање грешке уназад) w ј (t+1) = w(t) ј + η δ pј x x - ти улазнивектор w ј вектортежинскиходноса η параметар учења δ pј грешкавезаназаизлаз неурона δ pј = ( y pј о pј ) y pј је захтеванавредностизлаза, ао pј је актуелна вредност p- тог обучавајућегвекторазa ј- ти неурон 10/35

11 Алгоритми учења основна питања Које перформансе треба да има систем неуронске мреже у погледу обучавања? Да ли је потребно развити чисто динамички систем неуронске мреже? Хоћелифазаучењабитиреализованау on-lne или off-lne режиму? Далије брзина конвергенције важна за учење неуронске мреже? 11/35

12 Примена вештачких неуронских мрежа Функционална апроксимација је представљена скупом независнихпроменљивих x=[x 1,x 2,...,x m ] Т иизлазним сигналом y=f(x 1,x 2,...,x m ), којисугруписаниупарове {y,f(x)}. Предикција је представљена претходним вредностима стањасистема, X=[x(k), x(k-1),...,x(k-n)] Т, каои тренутнимипретходнимвредностимаулаза, U=[u(k), u(k-1),...,u(k-m)] Т, којесабудућимстањимасистема, x(k+1)=f(x,u) формирају парове {x(к+1),(x,u)}. Класификацијајепредстављенаскупомулаза { c x, =1,...,N j }, којисаспецифицираномкласом C ј формира парове {C ј, c x ј }. 12/35

13 Најраспрострањенији модели вештачких неуронских мрежа Перцептрон; Backpropagaton (BP)неуронскамрежа; Асоцијативне неуронске мреже; Hopfeld-ове неуронске мреже; ART неуронскемреже (ART-1, ART-2, ART-3); Fuzzy асоцијативне неуронске мреже; Самоорганизујуће неуронске мреже. 13/35

14 Перцептрон Представља најранији модел вештачке неуронске мреже; Пионирски радови: McCulloch&Ptts (1943.); Rosenblatt (1958,1962.); Mnsky&Papert (1969). 14/35

15 Перцептрон Једноставна архитектура; Користи простирање сигнала у једном смеру ( feedforward ); Имаједаниливишеслојеванеуронаизмеђуулазнихи излазних неурона (најчешће цео перцептрон има два слоја); Функционише на бази супервизорског учења; Линеарни тип неурона са прагом активације θ. o = f ( net) = 1 0 net net Θ < Θ net = w j x j 15/35

16 Структура перцептрона - Rosenblatt Структуру перцептрона чини: скупулазнихнеурона ({s} неурони), скуп скривених неурона ({а} неурони) и један излазни неурон ({r} неурон); Rosenblatt-ова основна идеја: јачину веза између улазног слоја неурона и скривеног слоја неурона случајно изабрати по неком закону вероватноће и фиксирати њихове вредности током целог процеса учења; Алгоритам учења реализује подешавање тежинских односа између скривеног слоја неурона и јединог излазног неурона; Ако има довољно различитих типова неурона у скривеном слоју (репрезентују различите логичке исказе из улазног слоја), онда је процес учења од неурона из скривеног слоја до излазног неурона у стању да реализује комплексно логичко закључивање. 16/35