E0, E1,...Ep. Error COST FUNCTION. Output M(Z,W) LEARNING MACHINE. Input. Z0, Z1,... Zp

Transcript

1 ! "#$%&' ( )##* +,-./ / :0;.2<- 07< =>? B C DEE F49GHI :26J0C 80K L.7M C N O EPPEDBPEQQC R F= S T 6HH.- 0<<0 R76J0256<UC VEE F<.<0 F<200<C F.H0- C W8 VPQEDC R F= X YZ: [,8 F> C 8GK3\02 ]9.G5500 ^C D_`aV L02H67 C Y02-.7U bu.77 CH037Acd e.<<e43- C /322d\6HH.- 0<<0e0KG C MH.G5df25<e/- K ek0 326/67.HHU ;GAH6590K 67 W22C Y e.7k Z gghh02c h e in0g2.h N0<\32M5j <264M5 3k <90 <2.K0lC F;267/02C DVVae m n opqrsp t >90 437J02/0740 3k A.4MB;23;./.<637 H0.2767/ 65.7.HUI0K 53.5 <3 0u;H ; A502J0K AU ;2.4<6<637025e Z.7U G7K0562.AH0 A09.J6325 3k A.4M;23; 4.7 A0.J36K0K \6<9 <264M5 <9.< HU 0u;350K G5 < H ;GAH64.<6375e >965 ;.;02 /6J k <9350 <264M5C.7K 3v025 0u;H.7.<6375 3k \9U <90U \32M e Z.7U.G< J0 5G//05<0K <9.< 50437KB32K02 3;<6-6I.<637-0<93 K5.20.KJ.7<./03G5 k32 70G2.H 70< <2.6767/e,< \7 <9.< - 35< i4h.5564.hl 50437KB32K02-0<93K ;2.4<64.H k32 H.2/0 70G2.H 70<\32M5e = k0\ - 0<93K5.20 ;23;350K <9.< K3 73< 9.J0 <9050 H6-6<.<6375e w xyz{ } ~z y ƒƒ $ ƒƒ# # # # ˆ ' $ $ ƒ## $ˆ ƒ# ˆ ƒ##! ' $ Š $ ##! $ˆ ˆ $ ## $ˆ ˆ Š $ Œ$! $ ' ƒƒ $ ˆ ˆ $ˆ # ' $ $ $ ˆ'! ƒ$ Š!$ # $ # $! $ $$! $ Š Ž $ $ ' # $ Š#ƒŠ ƒ Š!! ˆ ' $ # # ƒ'#ˆ!!!ƒ! $ $! $ˆ!# #ƒ! ƒ ˆ ' $ $ $ '#! $!! ' ƒƒ!!$ $$ ˆ' Š $ˆ ƒ# $ $ $ Š ˆ ƒ $ ƒšˆ!$ $$ $$$ Š!$ ' Š #$$ # $!%! %# ƒˆ $! $ ƒƒ# # $ #ˆ!!$ƒ ˆ #ˆ $ # ## ƒ$ Š $!%! ˆ!$! # # $$ š{y y šy} œ y {š žšz y Ž $# ƒƒ $ ˆ ˆ # ' ˆ Š $ $$Š# ƒƒ $ '! $ Ÿ ª Ÿ «Ž

2 # ˆ $ ƒ$! ˆ ƒ$ Š $ % ƒ ƒ! ƒ$$ ## Š! $'# ƒˆ $ $ $ˆ $ Š ˆ $$!$ ƒ '!$! ƒ Š ƒ! ƒ ƒ!! ' $ $ˆ Ž $ Š $ Š $ $ Š ƒƒ ƒ$ ##! $ $ˆ ƒ#$ $ # ƒ'#ˆ $$$! # Š ˆ ˆ $ ƒ ƒšˆ Š $ $ˆ $ $ Š ## $ Ž ˆ # ˆ $ $ Š $ $ˆ #! #! ' $! ƒ Ž $ ƒšˆ $ $ˆ! ' ˆ $ $ Š $ˆ ƒ#$!$ Šˆ $ ##! $ $ Ž ˆ $ ˆ ˆ # $! $ Š $ (! Error E0, E1,...Ep COST FUNCTION Parameters W M(Z,W) Output LEARNING MACHINE Desired Output D0, D1,...Dp Input Z0, Z1,... Zp!"# t $t Y2.K607<BA.50K H0.2767/ e Ž $ ƒ $ Š $! $ $ Š ˆ ƒ ƒ $$ Š ˆ ˆ $ Š $ $ $ ˆ$ ' $! ˆ!$ Š ˆ ˆ %$ '# Ÿ ª & $ ƒ! $ Š ƒ$ # $ $ˆ $ ƒ$# $ Š ˆ!# Ž!$! # # $ $! ' ƒƒ $ $ $ Š $ˆ ƒ#$ Š $ ƒƒ ƒ Š Š ' #! ˆ $ˆ ƒ $$ $ Š $ ˆ ' $ $ˆ ƒ#$ ˆ Š ##! ˆ#ƒ# Š $ˆ ƒ#$ $ #! # ##!' ' $ Š $! ' $ Š!' ƒ$ $ˆ ƒ#! Š $! $$ #! #$ $#

3 $ ˆ ˆ $# #!' Šˆ! Šˆ Š $ ƒ ˆ ƒ ƒ $$ Š! ˆ ˆˆ Š ƒ # $ Š ˆ ƒ#$ # $ Š $!! $ $# Š Š!$ ˆ ƒ # # '$ #! ƒ $$ Š # ' ˆ % ˆ $ ƒ $$ $ˆ ˆ $ ##! ˆ ƒ # &$ ( ˆ ˆ Š $ # # $$ '$!! ˆ ƒ$ # % ˆ $ '$! $ Ž '$ $ ˆ $ Š ˆ ƒ! ## ƒ$$'#! $$!'$ Šˆ!$! Š Ž $ ˆ $ Š ˆ ƒ $ '!$$ # '$ $ # ' $ ƒ $ Š Šˆ!$! Š Ž $ $ˆ ## ' $! $! ## '$ $ $ˆ ## ' $ $ #!!# Š Š! # ## #$ #! $ $ƒ!$ Ž $ $ Š! $ $ $ ## ' # ' $ $ $ '!$$ ' $ ˆ ˆˆ # ## $ˆ Š '$! ˆ ˆ # Ž ˆ' Š $ # $ƒƒ # Š ˆ ˆ # '# Š $ ' ƒƒ Ž! Š $ ƒ Š $ ƒ$ ˆ ˆ $ $ $ Š! $ $$! $ $ƒ!! # Š ˆ ˆ $ # Š ˆ!# ˆ!# $#! $ Š $ # Š ' # $ ## ƒ ˆ! Š ˆ!# #$$ $ $!! ƒƒ ˆ!# $# $! $ƒ' ˆ ˆ ## ## #ƒ ˆ Š $ Š $ #! $# $ $ $ ˆ ˆ # ˆ $ ' '! $ zšy}š{} š { š šz y # $! # $$ $ ƒƒ ƒˆ # ƒ$! Š #$$ # ˆ#%# Š!%Š! # $ ˆ Š ˆ #$ ƒƒ# ˆ $!%'$! # ˆ!$ Ž $ˆ ƒ#$ Šˆ Š ˆ## # ˆ!!%'$! # $ $ˆ ƒ# $ Š ˆ!#$ Š ˆ ƒ#ˆ $ Š $ ƒ$ ƒ Š ˆ!# $ Š '# ƒˆ $ ˆ!# $'$ Š! $ ˆ!#%$ ƒ $ ## $ ƒ$ ˆ!#%$ ƒ Ž ƒ $ ˆ!# $ ƒ ƒ Š ƒ#! Š $ƒ $ ƒ#!$ Š $ƒ

4 ! ' ˆ ƒ! $ '! $ ' Š $ƒ #! ƒ! $ ' Š $ƒ Ž ' Š Š $ ˆ ƒ#!$ Š ## ƒ$ $ƒ ## ƒ$ ' $ ƒƒ#! ˆ!#$ $! Šˆ # # ## ƒ#!$ Š $ Š $ƒ ## ƒˆ $ ' ˆ ƒ! Ž Š ˆ ƒ!$ $ $ ' %ƒƒ Ž!# ˆ#%# # $ $ƒ # $ Š ' $ $ˆ ˆ!#$ #! # $ Š ˆ ˆ#ƒ# $ $! ˆ ƒ% $ $ ˆ! Š $ $ $ ˆ $ ˆ' Š #ˆ $ $!ˆ $ Š! ˆ' Š $ $!ˆ $ Š $ Š ƒƒ#$ $ ˆ! Š ˆ ƒ Š $ ƒ $ Š! $ˆ $ ª # ƒƒ# # ' #$$ # ' ƒƒ $ '! Ž ' $ #$ ' ˆ Šˆ Ž $ˆ ƒ#$ # ˆ ˆ ƒ! $ $ $ %!!$ # ˆ $ #! $! $ Š## $

5 $ˆ ƒ#$ $ $ $ # $ ( $ƒ $! ƒ!$ $ '# ˆ!$ $ Šˆ Š! # ˆ $ $ˆ Š $ $$ ˆ Š $ Š $!! ˆ $ $! $% ˆ!$!$ '! # ƒ ƒƒ Š $ ˆ ƒ! ## '!$ $$! # # {šz š { ƒƒ ' $# ƒ ## Š ˆ##! $ $ $Š $ ƒ ## %! %!!ˆ $# ˆ # # ˆ ˆ! $ Ž $ Šˆ# ##! $# $ $ Š $ ## $ $!$ $$ ˆ' Š $ # ˆ ƒ $ Š!! $# # #$! $ ˆ Š '!$ Š ˆ! (!#! # $ $ ## ' # $ $ $ ˆ ƒ# ƒ$$!$! ˆ ƒ Ÿ! Ž $ $ Š! $ ' # $ ' Š! ˆ$ ' $!! 'Š $ ƒ!! ## $ $ $ # # Ÿª ˆ ƒ# $ $!ˆ # Šˆ $ «Š! $ ˆ ƒ! '$! Š ˆ ƒ#! $ ƒ!! $ $ $ˆ Š! $ $ $ ˆ ˆ ƒ $#!! $ $ ## $ $ $ '! $ $ # $ ## ƒš! ˆ! Š '$ ' ƒƒ Š Š## $$! $ # $ $## «" Š$ ' # $ # #$ Š $#$ ' $#$ $ # ' $! Š $ $ # $ ˆ $ Š «" Š$ ' # ƒ ## #!!!$$ Ž $ Š $ $ $ˆ ƒ# $ $! $ˆ ƒ# $ $ Š $ $!# ˆ ƒ$! Š! # ƒ$ Š $ $ˆ ƒ#$! ## ƒ$ $ $ˆ $# $ ˆ ƒ! '$! $ $ Ž $ '!!$ $ $Š# ' $ ˆ ƒ$

6 $ˆ ˆ $ 'Š ƒˆ ƒ!! $ $! ## $ Š## ƒ $ $ %# $ ƒ ˆ ƒ#$ # ƒƒ ˆ!$ ' $## #$$ Š ƒ$ $ˆ # ˆ ƒ# ƒ ˆ #$$ ## Š ƒ$ Š ƒ ˆ ## ƒš## ˆ Š $ˆ Šˆ $ $!! ˆ ' # ˆ $# %# $ # #$ Š $#$ ' $#$ ' $ Š $ ƒ!$ # $ $## ˆ#ƒ# # # ˆ ˆ Š!'%!ƒ $ Ž # Š $ # Š $ ˆ ˆ # ##!$ ˆ ˆˆ Š '$ $ ## ƒ#! $ $ # $ ƒ$ ƒ!$ $# $ ˆ ƒ '$ Š ƒ$$'#!ƒ # # ˆ ˆˆ Ž $ $ '!ˆ $! $ˆ ƒ#! $$ $ # $ #$ $Š# Š ' ˆ!#! $ % ˆ ˆ ˆ $!$# ƒƒ# $!!$' $!## ˆ!! Š ˆ $ Š # ˆ!$!! Š## $ ˆ ƒ$$'# #! ƒƒ#! # # $ ## $# ' # $!!! ' '! $#$ $ # # $# #$ $ %# # Š ƒ! ƒƒ# $ '# $ ## $! #!! ƒƒ ˆ $#$ Œ$ƒ! $ Š $ $ # $## $$ ˆ $! $ ' #!!$ Š ##!$! ( # $! # ƒ% ' # Ž # # $$ Š! ˆ $! $ $ˆ ƒ# Ž $! $ $ˆ Šˆ $ˆ $ ˆ $ $ #! $ Ž $ $ $ $ # Š! ' # # ˆ ˆ #$ ƒ$ Š## ˆ ˆˆ $! Š ˆ ˆˆ $##$! $ Ž $ Š $!ƒ!! Š $ Š $ $ ƒ!$ Ž Š $! # # ˆ ˆˆ $ ƒƒ# #!! $! $ # #!ƒ ' $ $ $ ƒˆ # # $!# Š # $ Š Šˆ $ ˆ' Š ƒ$ ƒ$!! ˆ ' Š$ $ $ ƒ $

7 ˆ! ˆ $ $ $ ˆ %' $ $ $ $ˆ ## ' $! $ $ $ ƒ!$ ( ##!$ $$$ ˆ! Š! $!!$ $$$ $ Š # ƒ'#ˆ $!! $ ' $! ƒ$ #! $ˆ ## ' $ $ $! # $!ˆ ƒƒ # ' # $ Š # $ $ # $ƒ!$ $ƒ $ Š ˆ ' #$ ƒ'#ˆ Š ˆ $! ˆ ' #$$ # $ ' $ Š # ˆ # 'Š $ ˆ $!! Š ' $ $ '# $ $!! ˆ!$ $ƒ! # ƒ $$!! ˆ!$ $ƒ! # ' $ˆ $! ' #$ Š $ $Š $ˆ ƒƒ ˆ # Š # ˆ ˆˆ Œ$ƒ! $ Š ' ƒ!$ $ $ # $ $## Š ƒš! ˆ! ƒ ##!# #! $$ ' $ $ $ˆ ƒ# ˆ Š$ $ # Š$$ Šˆ ˆ $ ƒ! $ˆ ƒ# Ž Š $!$'# $ $ˆ ƒ# $ ˆ $ Šˆ # $ $ˆ $ ƒƒ#$ # $ $ # $! Š ƒ ƒ$ $ # Š ' Š $ $ $ˆ ƒ# ƒ$ Šˆ $ˆ ƒ#!# ˆ ƒ#ˆ $ $! $ $ˆ ƒ# $ $ $$ ˆ ƒ#$ Šˆ #$$$ $ ˆ ƒ#$ '# $ˆ #$$ ## ˆ $ # # $ˆ # Šˆ $ Š! ˆ Šˆ ˆ ƒ# $ $ ˆ ' ƒ! # $ ƒ $ ƒ$! #! $ $ ƒ $ ' #! '! $ $ # Š Šˆ Ž Š ˆ $ $$ ƒ$ $ ƒ ˆ Š # Š $ ' # ˆ # ## Š ˆ ƒ#$ $ $ $ # $ ##! $ $ #! Š Š ƒ$ Š ƒ # ƒ ƒ ˆ! ˆ! $ ƒ''# Š ƒƒ Š ƒ $ ##! «& Ÿ " «$ $ $ $$ ˆ ƒ#$ # '# $ˆ #$$ $ ƒ ˆ ƒ#$ ƒ! # ˆ Š% # ˆ ƒ#$ ƒ! $ˆ ## + >90 32K02 67 \9649 /2.K607<5.20 5G- - 0K 67 A.<49 -.U A0.v04<0K AU 23G7K3v k < /76f4.7< 2.7/0 3k /2.K607< J.HG05e

8 ˆ$ ' Š# ƒ' ˆ # Š $ Š ƒ ˆ ƒ#$ ' $ $ $ # ˆ ƒ ƒ# $!' ˆ ƒ#$ Ž $ ˆ ˆ '!$'# ˆ ƒ# " ª " Ÿ ª " ' $ #$ ƒ! # $ $ #! ' ƒ$! Š #! $ ' ƒ ## ' # Š '$ ƒšˆ Š Š # ƒ$ ƒ ˆ $ $## Š$ Š Š ƒ '# % $ $ #$ Ž $ $ $! ˆ $ ## ƒ$ ƒ$ $ ƒ #! $ # ƒ!! ' ˆ ƒƒ# $ $ #!! $ ƒ $ $! ## Š ˆ ƒ$ Š ƒ ƒ$ ## Š ƒ!$ Š $ Š!! ## ' $ˆ $ $ $ $# $ $ # ##! $ ## $ Ÿ Š ƒ ƒ Ž $ Š ˆ$! #! $ ' $! $ $# ' ˆ ƒ# ƒ$ ## ƒ$ # $ Š Š ƒ Šˆ ## '$ ƒ!$ ƒ #!! $ $#! # Ž Š $! $ Š ƒ$ $ $ $ #$ Ž $ $ $ #! ' ƒƒ#! ## # $ ˆ $ Š Š! ' #$ ' $ $ ƒ$ ƒ$ # Ž $ ƒ'#ˆ '!!$$! '! ƒ$ $Šˆ! Š $ ˆ!# Š!$ $$ ƒ $Šˆ Ž!$ $$ Š $ ˆ! Š## $ $ Š$ # Š ƒ$ $ Š! $!$ '! ' ' #$ Š $ #! $ ## ' $ˆ $ ˆ' Š ˆ ƒ#$ $ Š ƒ '#! $ ˆ ƒ Š ˆ ƒ# # $ƒ!$ # ' $ #ƒ$ '# $! ƒ!$ # Ž # Š $ #! ' ˆ! Š $ ˆ! $! $ ˆ! '# Š $! Ž ƒ $ # ## $ $ˆ # $ $ $ˆ ƒ$ Š #$$ $ $ $ $ ' ' # $ # #$$ $ ƒ$! $ #$$ $'# # ƒ $$

9 Ž Š ƒ '# $ $ #! ' #$ # ƒ '#$ $ $ ' $ˆ ƒ '#$ $ #! ' #! Š ƒ$$'# Ž ' $ Š $ Š! $ # ƒ$ $ˆ ƒ# ˆ ƒ#ˆ $ ' ' ˆ! # ˆ ƒ#ˆ $! # ƒ$ $! $ˆ ƒ# Š ƒ$ #! $ ƒ$$'# $# Š # Š ˆ ˆ $ Š! $!$ '#$!ƒ! $ $ˆ Š $ $! # #! ƒ$ ˆ$ $# Š ' $ˆ#$# $ ˆ! ƒ'#ˆ ƒ# ˆ ƒ # $$ #$ $ " % ƒ$ ' $! ˆ ª #$ ƒ$ ƒ$ ##!ƒ! ˆ $ Š # ˆ #$ ƒ!! $ ˆ $# # $! $ ƒ $ # $ ƒ Ž ƒ $ $ # #$ $ $ Ž $! $ # $! $ $ ( # $ #$ $ '$## ' # $# %Œ $ ' # # %Œ ƒ'#ˆ!## ˆ Š ƒ$ ##! $ $ Š $ $ ƒ $$ Š $Šˆ ƒ$ Ž $ƒ$ $ Š ƒ$ $ ˆ $! # ƒ$! # % $ y ω 1 ω 2 ω 2 Lines of constant E z 1 z 2 ω 1!"# t K0;07K07< 67;G<5e

10 Mean Cancellation KL- Expansion Covariance Equalization!"# t t >2.75k32-.<637 3k 67;G<5e # Š $ # $ # ƒ'#$ Š ˆ $ ˆ ˆ Šˆ $ Š Š $ $ ˆ! $ ˆ ## $ Š $ ˆ ƒ$ $ˆ # $ $ ƒƒ! Ž ˆ $ ˆ ˆ ˆ ƒ#$ $!! # $ Š! ƒ'# $ ˆ!$ $ ˆ ˆ ' $ ' ƒš! Š $ˆ $ ƒ$ $ #! ' ˆ #! ˆ # ' $ ˆ # # ƒ! ƒ$ # #$ Ž $ $ $ $ # $ Š $ ƒ$ # $ ƒ$! $ ˆ$ ˆ $ ƒ$ ˆ ˆ $ ˆ!$ $ $ ƒ'# Š Š$ $!! # $ Š ˆ ˆ!! $ ˆ! $ Š $ $ˆ ˆ $ ˆ ƒ## ƒ$ * ƒƒ ˆ % Š ' Š ƒ# ˆ #$ ' $! $! ˆ ˆ $ $ #ƒš#!! $ˆ ## # ˆ $ $! $ƒ$

11 (a) (b)!"# t t. N3< K0Kj <90 5<.7K.2K H3/65<64 kg74<637 C D D e A U;02A3H64 <.7/07<C DPD^V <.79 S X e

12 Ž $$ ˆ ˆ!! $ ˆ! ' ' $ $ «$ ƒ$!$ $$ Š ƒ$ ## #$ ' #$ ' $ ' Š $ ˆ! $ # $ $Š# ƒ # $ $ ˆ! $ ƒƒ$ ' $!! $ ˆ ˆˆ! ' $ #$ Š ƒ# ƒ'#ˆ $ $ $ ˆ ˆ $ ˆ!$ $ $Š ' $ $ $!! # $ˆ ## $ $ Š $ Š $ ˆ!$ $Š $ #$ Š Šˆ!! $ˆ ## # ˆ $ ˆ! $ˆ ˆ $ #ƒ! $ #$$ ƒ'#ˆ $ #$ ƒ ## ' % ˆ % ˆ $!ˆ ˆ $ˆ $ $ #$ ' $ # Š $ ˆ!%$ $ ˆ ƒ$ $ $ $#! ' $ $ $'#$ $# Ž ƒ $$ ##! ƒ $ #$ $ ƒ$$'# #$ # '! $ ˆ ƒ% ## $ $# $ ƒ!!!! #! # #$ $ ˆ!! $ #$ Ž # $ $!$ $!$ ˆ#ƒ#! ' ƒ% ## $ˆ ## $ ˆ!! ƒ $ ˆ $!!! $ ˆ! ƒ! ƒ! #$ $ $# $ ˆ ' ˆ $! ƒ$ $ $! Š %! ## ƒ ƒ Š##$! $ '! ƒ #$$ $!## $ $ #! '! ' % ƒ # $ ' ƒ$$'# #$ $ ˆ ƒ # $! Š ## ƒ$ #$ Š $ % ˆ!!#$$ Š Ž $ ˆ ƒ! #$$! Š $ #! $# $ $!$ ˆ ˆ ƒ$$'#!' ' ƒ #! ƒ # ˆ ƒ#$ $# $ ƒ'#ˆ $ $ $ #$ ' Š $ ˆ! $ ˆ ƒ #$ ˆ$ ' $! $ $! # # ƒ Š $ ˆ! #$ ƒ Š ˆ ˆˆ $!! $ ˆ! $ '$! Š # $ $ ˆ! Ž $ $ $ $ ˆ! ' $! $ ˆ ˆˆ $!! $ƒ! ' #$ ƒ # #$$ ƒ'#ˆ $ $ #$ ƒ Š ˆ ˆˆ $!! $ ˆ! $ $! $ ƒ $ S = <\ 65<67/ < HH H670.2 <02-.KK0K <3 <90 73 K0 3G<; G< C 0 e/ e <.79 e

13 Ž $ #$ Š $ $ ' ƒ $$ $ $ #! ' $!ˆ # ' $ $ % ˆ! $ ƒˆ #! $ # Š $ ## # $ ˆ! ## $ $# $ˆ ##!$ ˆ # $# Š $ $ˆ ##!$ ## #$ ' $ˆ ## ˆ! $ $ ˆ!%$ #!!$ # # ƒ!! ## # # ƒ Š ˆ ƒƒ 'Š ˆ! # # ƒ $ $! ' $ ˆ # Š $ ˆ!! Š # $ ' %!$' Š ƒ$ Š! $!!! Š ƒƒ ˆ # Ž $ $! ƒ # ' ˆ # $ $!$ '! # Ž ' $!!! #$ ƒ Š $!! # $! $ ' ˆ ˆ!! $ ˆ! ˆ ƒ $ ˆ! #$ $!!! $$ˆ ƒ$ #! $!!! Š $! $ˆ ## ' Ž $ $ ƒƒ ˆ # $ $ #! '!ˆ #! Šˆ!$' ˆ! $!!! ' $ ˆ' Š ƒ$ $$ˆ $ $ ' ˆ #!! $ ˆ! Šˆ ' $ ' $! $ $ #! '!ˆ #! Šˆ!$' Šˆ ˆ! $!!! $ Š% ˆ' Š $ Š!!! Ž $ #$ ##%ƒ ƒ#! ˆ!!$ '! $ Š $% ˆ!# # ( $ ˆ $ ˆ $ Š ˆ ˆ% ƒ # ' ƒƒ$! # ˆ ##! $ #

14 ( $ Š $ $ ˆ $! $ # $ ##$! $ Š## $ ## $!! Ž ˆ ƒ'#ˆ $ ˆ!$ $ ƒƒƒ Š $ $! %# # ' $ $ ## ˆ! $ $ # #'# # $ # ƒ!š% Š # Š ˆ ƒ ##% ƒ ƒ#! Š! $ '$! ˆ ƒ $!!$ $!$ '! $ Ž ˆ ƒ #$ƒ $ ˆ $ ## $ # $ˆ $ƒ! Œƒ! ƒ Š $Š $ˆ $ ˆ $ˆ ## #!!! # $ ˆ # #! $'# $ƒ! $ Š $ # $ # # $ $ #! ## ' # # $ $ Ž $ $ Š Š ˆ $ # $ $!! Š $ Š $ƒ $ # # $ $ ## $ˆ ## Š # $ Ž # Š ' $ $ ## '!$ $$! ˆ!# # $ $ # $ $$ Š $ # # Š # Š!' $ $ $ Š $! $ $! $ $ ˆ %!# # $ ŽŒ ## $ # $ #! ' ƒƒ# $ Š ˆ' Š $ $ ' $!$ $ˆ Š ˆ %%#$$!ƒ! ˆ $! $ # # $ $ #! ' ƒƒ# $ Š ˆ' Š ƒ$ $ # # $ $ #! ƒ ## ' # # $ $ Š ˆ ƒ #! ( ˆ ˆ $ $ƒ! $ $Š $ # $ƒ # ' $!ˆ ƒ$ $ Š $ƒ$ #! $ Š $ #! # ' # #! $ Š #!$ $ Š ˆ ˆ ˆ ˆ $ ' #ˆ! ˆ ˆ ˆ ## #ƒ$ ˆ ' ˆ! $ $ ˆ! ' $ $ˆ $! Š $ $

15 ( $ #! ˆ ƒ#$ # Œ (! ( # ƒƒ$! #$ Š ˆ ##!ƒ # $ $ #$ Ž $ #$ # $ƒ! Š ' $! $ # '$! $$ˆ Š## Š $ Š #!ƒ # ˆ $ˆ ##$ # Š $$ $ $ $ # $ˆ ## $! $ˆ ##$ #! Š Š # ˆ' Š $ ƒˆ ## ƒƒ ˆ ˆˆ Šˆ! Š ˆ ˆˆ Š $$ $! $!$ # Š $ˆ! ƒˆ ' Š $ %!ˆ $# ƒ $$! ˆ ˆˆ ' ƒƒ ˆ! Š # ˆ' Š $ $ '!$ ˆ!ƒ ƒ ƒƒ ˆ! ˆ ˆˆ $!ˆ $# ˆ $ Š!$ ˆ ˆˆ Ž $!$ ' $! # # Š!#$ $ #$ # $ Š $$! $ $! $ # '# # # # Š! $ $ Š #$ $ $ ˆ ƒ! $ Š! ˆ% ƒ#ˆ $ˆ ƒ# ƒ Š!!#!! Ž ˆ Š $ #$ $ Š # $ Ž # ˆ Š## $ $ˆ ƒ# Š Šˆ ˆ ˆˆ #!$ ƒ!$ ' $ƒ$! #$ ˆ ˆˆ #$ # Š #!#$ $ # ˆ $ $ $ˆ $ $!$ '$!! ƒ! $! $ ˆ!$ ˆ ƒ$ Š $ # $ ' $! ˆ ˆ # $!# '$$ Š & $ & $! ƒ!% Š! ƒ $ ƒ#! #!!$ '

16 !"# t t ]37J02/0740 3k <90 3\ e :G267/ <90 f7.h 5<./0 3k H0.2767/ <90.J02./0 3\ 65.;;23u6-.<0HU 370 K H <3\.2K5 < G-.7K 6< 65. /33K.;;23u6-.B <637 3k < G- 06/07J.HG0 K6204<637 3k < e ƒ!! $ ˆ! $ ƒ#! ' ƒ# Ž ƒ $ ˆ ƒ! Š ƒ $ ƒ $ ˆ $!!! Š % $$ Ž $ $ ƒ# $ $!! $! $##! ' ˆ' Š!!$ Š ƒ $! $ƒ$! #$ Š!ˆ ˆ $!! $ Š & $ # $ ˆ!# $ $ƒ $ # & $ # $ˆ ## # # Š ƒ $ƒ Ž $ '! ' $ # ' Š$ & $ ˆ #$ Šˆ ' $ Š '$$ Š $ ˆ!# ƒ $ƒ $ ˆ! $ # $ $ # ƒ'#ˆ!ƒ! $! # # ƒƒ Š & $ ˆ '!$! ƒ ##!ˆ $# $ƒ $ ' $ ˆ $!! $ƒ $ & $ ˆ ƒƒƒ #!ˆ $# ƒƒ # $! $ ˆ!$!ˆ $# # # $ y { y œ {š} yz yz! $ $ ˆ $ˆ Š '! $ ƒ$! # '!ˆ $ ƒ! Š!!$ ' $

17 #! # # Š ' $! # $ƒ! ##$$ # ' Š $#!' $ $ Š $$ Š # # ˆ ˆˆ!ˆ % $ $ $! ƒˆ # # $ ' # ## ˆ ˆ ˆˆ ƒ $# $ƒ $ ' Š $ $ˆ ## $ƒ$ ## ' $ˆ ##! ## ˆ#ƒ# ˆ $ƒ$ Š $ '! ## $ ##! ' ## ## Š $ ˆ $ Š! $ƒ$ $ $ #!$ ƒ Š Šˆ 'Š Œ $#$ E(ω) E(ω) E(ω) η < η opt η = η opt η = η opt a) E(ω) ω min ω b) E(ω) ω min ω ω c ω min ω η > η opt η > 2 η opt de/dω c) ω min ω d) ω min ω de(ω c ) dω 6 66!"# t t Y2.K607< K05407< k32 K6v0207< H0.2767/ 2.<05 e ω c ω ω min ω $ ƒˆ # # Š # $ $ $! $ %!ˆ $ $$ˆ ' ƒƒ ˆ! '! '!! ' $ ƒ! Ž # $$ ' Š $ $! Š $! $!!! $ $!! ˆ $ $ Œ' ' $!$ $ƒ $

18 ! #Š Š % ˆ ƒ $ ƒ!! ˆ ˆˆ $ƒ Š ƒ$ $ ' $ $ˆ $# $ ##$! Ž 'ˆ ƒ ƒ#$! Š $ Š Š $!! $ $ˆ ƒ# $ # # ˆ % ˆˆ! $ $ˆ ƒ# $#ƒ Š $ #! $ ˆ ƒ! $ $!! $#ƒ Šˆ# # Š $ # # $ Š$$ $ # $ # ' $! $! $ #$ $ %! Š $ #!! ˆ $ ƒ $#! $ # ƒƒ ˆ $ $ ˆ ˆ#ƒ# $ # ˆ ˆˆ $ $## ' Š$ ˆ#ƒ#!ˆ $$!ˆ $ ' ˆ! # ' $ $! Š $ ˆ $ ##! $$ $ ˆ ƒ% $ '! # # ˆ' Š $ $ ˆ $ Š Š!ˆ $$ #$ Š $ Š! $ # $ ƒ $ $ Ž $ Š ƒ! $ Š ˆ! ˆ $ Ž #$ ˆ $ $ƒ$$ Š # $ƒ!! #$ ˆ $ ( # ˆ $ # # # Š

19 ω 2 Eigenvectors of H ν 2 P E ω min,2 ω min,1 ω 1. A!"# t 3k 4375<.7< e ν 1 $ ˆ' Š $ Ž $$ $ $ $ ' $ˆ $ ˆ Š ƒ$ Ž $ # Š $ #$ ˆ $ Š $ƒ! Š ƒ$ # $ƒ!! $ $ x 2 x 1!"# t t [32 F.H/326<9- C <90 06/07J04<325.7K 06/07J.HG05 3k - 0.5G20 <90 5;20.K 3k <90 67;G< ;G< 5;.40e $ $ # # $ ƒ'#ˆ ˆ#ƒ#!ˆ $$ ' # $ $ Š$ # $ ##! $ Š $ˆ ## #$ Š Š $ # $ ##! # $ƒ! $ # #$ Š Ž $ $ ˆ $ƒ ## # $ ƒ! ' $ ˆ ' ˆ ˆˆ

20 Œ'! $ $# ƒ! $ ' Šˆ ' $!$ $ Š ƒš $ ˆ $Šˆ # $ $ $ $ #$ ## ˆ! #$$ ƒ! ##!$ $ #ƒ $ # $!##!Š% Š # $ #!'! $ Ž $ $ $ˆ ƒ# Š! $ #! ƒ! $ Š $ $ $ $ ƒ#!! $$ $ # '$! $ƒ! # Š $ ƒ#! ˆ$ $ $ $! #! $ # ƒ! $ $ ' Ž $ $ ƒƒ$ Š! # $$!$ $$! # ' ˆ $ $! #! Ž $ Š ' $ ( Š!$ $ˆ ƒ# $ '! $Šˆ! ƒ! ' ˆ $ $! #! # ˆ ƒ$ Ž $ ## Š Š ## Š $! Ÿª $ # # Š ## $ ˆ$!!! $ # $ # Š Š$$

21 Š $ # $ˆ ## ## ' $# #! Š ˆ $ ƒƒ#! ˆ' $ $!$'# $ $ˆ ## # $ƒ! $ ƒ$$'# $! ' #!! $ $$$ ## Š!ƒ! %!ˆ $# $ Ž Š $ # Š!ƒ! Š $ $ ƒˆ # Š $!!$ƒ# $ $ Š ˆ ƒ#$! Šˆ $$!$'! #$$$! % %! Ž #$ Š ˆ! $ # # # ƒ$ ƒ $! '$ $ $ ( # ˆ ' ˆ!!$ƒ# $!! # $ # $ Š! # $ ## $! $ $ $! Š ω 2 ω 0 ω 1 χ 0 y χ 1!"# t t F6- ;H0 H <\32M e !"# t $ t >\3 4H.5505 K2.\7 k23- /.G556.7 K65<26B AG< <020K.< BEe`CBEea.7K Ee` CEea e $ $ $ˆ ˆ ƒ# $ $ $ $! Š ' ˆ! # # Š $ $! $ $ ˆ $ ' ˆ! $ # $ˆ Š! $ $! Ž $ $ ƒ#! $ Š Š ƒ ƒ $ $ˆ ƒ#!! $ ƒ ƒ$$ Š $ $ #

22 Weight space Log MSE (db) Weight space Log MSE (db) epochs epochs. A!"# t $$t T06/9< <2. 04<32U.7K G2J0 KG267/ H0.2767/ k32. D^.7K A _^e

23 $ƒ!$ ƒ!$ ' ƒ $ƒ!$ ƒ! Weight space Log MSE (db) Weight space Log MSE (db) batch epochs epochs!"# t $ t T06/9< <2. 04<32U.7K G2J0 KG267/ 5<349.5<64 H0.2767/ k32 E_e!"# t $ t T06/9< <2. 04< K k32 DB DB D 70<\32M <2.670K G567/ 5<349.5B <64 H0.2767/ e $ $ Š $ˆ ƒ# ˆ#% # $ ƒ!!! ƒ! Ž $! '$$ Ž Š $ Ž $ $ ˆ ƒ#$ Šˆ Š #$$$ #$$$ $$!$% '! $!!! #$$ $ ˆ Š %! #$$ $ ˆ Š Ž #$ % Š #$$! Š #$$ $ $ $ $ Š ˆ ƒ#

24 y ω 3 ω 1 ω 2 ω 0!"# χ t $ t > H -GH<6H.U02 70<\32M e $ $#$ Š ƒ$ $ $Š $# Š $!$ $$! # Ž $ Š ' $ ˆ ƒ '#$ $ ª Ÿ # Ž $ ˆ $! ˆ' ## ' # $ $Š ## ' $ƒ $ˆ! $! $ ## $ $ ## ' $# Ž $# $ $ˆ ƒ# ƒƒ $$ ƒ$ ' $' ˆ $ $ # # $ Š $$ ˆ $ $'%! ƒ # ƒ ƒ# $ Š #! Š $ ## ƒ$ # $ƒ! #!'! $ Š ƒ $ƒ ## #! ˆ'! $# #! $ ˆ ˆ! Š ƒ '#$ #! $ ## ˆ $Š $ƒ # ' ## ƒ$$'#! $ #! ƒ '#$ $## $ $ Š '! Šˆ! $ $$ ' $ ƒ!$! ƒ#! Œ ƒ#! $ ˆ # ƒ ˆ! ƒˆ # $ Š## $ƒƒ$ ƒ '#$ Š '! #! $$ Š $ $! #! $ #$ ƒ #! $ $ $! $ '$!$! $ ' $ ' ƒ $ $!!$ ƒ!$ ˆ ˆˆ Š $! $$ $ # # $ Š $ƒ! #

25 !$! ## '! Š ƒ$! #!$ ˆ ˆˆ š š y} {} { z žšz y z } Š## ## '!! $$% ' (!! $% ˆ! $ #$ Ž!$! Š ˆ! # $ ƒ# $#$ Šˆ $ $$ˆ! #$$ Š $ $!ƒ! ˆ ƒ ƒ! # #$ Š % ˆ$ ' $ $ $ ƒ ƒš #! $ Šˆ ' $$ $ Š Š $! $ƒ #! ' $ $## $Š! ˆ ˆˆ $ ##ƒ$! ˆ # $ ##!ƒ!! Š $$ $Šˆ ## Šˆ $ # ƒ $$ # $ ##ƒ$! $ ƒ $ƒ # $ ƒ $! $ $$ '$ ## $ƒ $ $Š # ## Ž Š## ƒƒ $ ' $ ' # $ # ˆ $Šˆ! $ƒ! '! $#!!$!! $ $ˆ $ ˆ ˆ # ˆ $ $ƒ Š Š % $!! #!!$ $ $ƒ # $Šˆ $ Š ƒ $ Ž $ ˆ $ ˆ $ '! ' $ Š$ $ #! Š ƒ $ Š ˆ! ' $ $ $$ ˆ ˆ$ ' $!!! $ * ƒ $! $ Š ˆ ƒ # Š ˆ Š '#$ Š $ # %! $ Š Š $$ $ ƒ$! Š $ $ˆ #$ $Š $ $ˆ! $!!! # ˆ ##! $ $$ «ƒ$! Š $ $$ ˆ Š ˆ#% # $ $ # ƒ$! $ $$ # ˆ $ # Šˆ $ $'# Š # # % # $! $ $ Š!#ƒ ˆ $ƒ $! # ˆ $ $!$ $$! Š##

26 ω -½ Λ Θ U ΘΛ -½ Newton Algorithm here... output...is like Gradient Descent there output ω Network U -½ Λ Θ ω Network input input!"# t $ t FM0<49 3k <90 \96<0767/ ;23;02<605 3k <90 N0\<37.H/326<9- e Ž $# ˆ ƒ ƒƒ$! ƒˆ $ ˆ!!$% $ $$ ƒ# # ˆ ƒ$!!$! $ ˆ ˆ ## $ƒ# $#! ƒ$ $ $$ # $! ˆ $ ˆ ƒ# $ # Š ' # Ž! ƒƒ $ $ $$ˆ ƒ!$!! ˆ ˆ # # $! # $ '$ # $ #!!! #!!$ $! ' ˆ # $ #! ' $ ˆ # $! ## $ƒ# $# Š ƒ$ Ž # Š!$! $ $ $ Š '!! #! &$

27 first descent direction gradients conjugate direction!"# t $ t FM0<49 3k 437 G/.<0 /2.K607< K6204< _: G2k.40e #! &' Ž! $!!! $ Š! $ #! $ $ƒ Š! $$ ˆ $ ˆ ƒ Š ' $ $ ω κ ρ κ 1 ρ κ!"# t $ t FM0<49 3k 437 G/.<0 /2.K607< K6204< _: G2k.40e! # $ ƒ! ƒš #! Š '#$

28 $ƒ$ ' ƒ! %! Š $ #! &'%$ $ˆ $ ˆ '$! #$ '! $ $ˆ Š $ ˆ ˆ ˆ ˆ # $ ' ƒƒ#! # $ $$ ˆ#%# ƒ'#ˆ $ ˆ! $! #!!! Ž ƒ # ƒƒ# $ Šˆ Š ƒƒ ˆ ' # ˆ %$$ ƒ!! # #! ƒ'#ˆ $ $! ## #!!! #$$ ƒ'#ˆ $ $ $ ' ƒƒ $ Š$ # ˆ ƒ$ ' ˆ!! ˆ % ' $ ˆ!$! Š! ˆ!$ ˆ $ $ ' ˆ! ƒ#! ƒ $ ˆ $ # $ ƒ! Ž $% ˆ! # ˆ ƒ$ $ˆ Š $ $$ $ # ˆ $ # $! $ # Š ' # Ž ƒ$! $ˆ Š $ $$ $!! # ˆ $! ' # $! Šˆ # ˆ % ## $ '!$ '! $ Š## $ $ ƒ$! ˆ $ $ $! $ $ # $ $ ƒšˆ! # $ ƒ! Š ƒˆ $ ˆ ## $ˆ Š $ $$ $ ƒ!! ˆ ƒ! # ˆ $% ƒƒ #!$! Šˆ Ž ˆ $ $ $$Š# $% # ˆ $!% # %#!Š'% ˆ! Ž ƒ! # Š $ˆ Š $ $$ $ $ˆ ''$ ' $! Š Š## $ # $ ˆ! ' ˆ ƒ# $ # $## %! $ ˆ $ # ˆ $ # ƒ # Š $ˆ ## $ %!! $$ & # $ˆ $ $ ˆ! $ ˆ $ $

29 ! $$%! ' (! # ˆ $ $ ' ƒƒ ˆ ˆ #!$! Š ' # ˆ ƒ# Š *! ˆ $ ˆ ƒ # Š ˆ $! #$$ Š $ Ž $$% # ˆ $ # # ˆ $$ $ ƒƒ ˆ! ' $ Š ' $ #$ $ Š Š!$ $$ Ž ' (! ˆ! $ # $$% ' ' $ # ƒˆ ƒ$ Šˆ '# ƒ Š $ˆ #$ $ˆ ##!$ ˆ Ž $$ ˆ! $ #! Š! $ Š $ $ˆ # ƒ! #$ $ "##' % '# $! $ ##! #! $ { z ~z z šy y { šz y y ~ z š { y z { ##!$ $$ $# $ ˆ! ˆ ƒ Š## ƒ# $$ Šˆ '!' ˆ! ' $ ' ƒƒ ˆ Š $$%! ' %(! # ˆ ˆ ƒ Š! # Š $$!! ' ' ƒ! Š $$! ˆ ƒ $$ $ˆ %# # $ ## ˆ ƒ Š Š## $$ ˆ! ' $ ˆ ƒ#!! #$ ˆ Š!'! ƒƒ $ƒ$ % # Š $$ $ Š $! # % ƒ$ Ž $ ' ˆ ƒ#ˆ! $ˆ ƒ# ƒ ˆ ƒ #! ' ˆ#ƒ# Š!! '! ƒƒ $ƒ$!! % ƒˆ! ˆ ƒ!! ## $' ' $#$!!! ' Œ ˆ # $ $ ˆ ƒ $ ˆ $# $$ ˆ ' ƒš # $ ˆ ˆ $ $ $ #! ' ««& $!$ '! '#

30 ! $$ˆ ˆ $! $ Š! $! $$ Š## $ $ $ˆ ƒ#š ƒƒ ˆ Š $$ $ $ Š ' $ ƒ$ $ˆ %! ˆ Š!ˆ $ $! ˆ Šˆ $!ƒƒ! Ž $ $ # $$ˆ $ # Š Š ƒˆ $ $ $!# ˆ ƒ#ˆ! Š % #ˆ Š ' Š ## ƒ$ Š! ƒƒ $ Š ƒ $! # % ƒ ' ƒƒ $ƒ $!! $ ˆ#! $ $! ˆ#%# $ $ˆ $ˆ Š # '# $ ƒ$ ƒ$! ƒˆ $ Š Šˆ $$ˆ $ ˆ Ž $ $ Š! ˆ ƒ $ ˆ!ƒ $! ˆ! $# $ˆ Š $$ $ ƒ$ $ˆ %! Š! $! Š ## '! # ˆ $ Š $ˆ #! '! ' ˆ $ ˆ

31 ƒƒ ƒ!$ Š ˆ ƒ! # $$ ## $ $$ˆ! # $ Š # Šˆ $ Š $ ˆ!# $ $$% ƒƒ ˆ!ƒƒ ˆ '! ' $$ # $ $ Š & % $ '! Ž $ Š ˆ ƒ! # $!!$ ' $ % $ Šˆ #$ # $ $ $$## $ˆ $ # ' ƒƒ ƒ$$ $! Š! ƒ $ Š $ $!! $ˆ $ Ž $ $ ƒƒ#! ƒˆ # '!ˆ ƒ ƒ! $ ω f( ) ωx z y 1/2 y ω x 2 x x!"# t $ t L.4M;23;./.<67/ <90 K6./37.H j 56/- 36K5 H0k<.7K 8 L[5 26/9< e

32 ˆ ˆ!$ ˆ $ Š $$ $$ $ $! #$# ƒ! $ $ # $ Š ˆ ƒ $ ƒ! $ '# Š ˆ ƒ $$ $#Š Ž!' ˆ! Š# ## $ $ Š ' $ #! ˆ ƒ$ ƒ! $ƒ # '!# ˆ ƒ! ' ƒƒ $ $ˆ ## $ Ž $ ˆ! ' ƒƒ#! ˆ ƒ ƒ ƒ#! % # Š ' ƒ ˆ!! $ ## # $ Š! $ƒ! # #$ Š ˆ ˆ!!$ $!' $! $ $ˆ # ˆ ƒ# yš z šy y ~ z š { y z { $ $!$! $ˆ Š $ $ ƒ$# $$!$ $$!!#$ Š ˆ ƒ#ˆ Ž ƒ ## #!$' Š $$ # $ # $! Š $ˆ ## #$ ˆ ˆ!ˆ $! Š # $ ## ª Ÿ Ÿ ª ## $ '# ƒ $$ ' $ % ˆ ƒ$ $$! $ Š $!!$ Šˆ # # # ' $ '#$ Ž ˆ ƒ#š $ $ #!$' Š! &! ## $! $ƒ! Š #$ $! '$ ' $! # # $ ' Ž # # Š #!$' $ $ ƒš# ' $ ' # $! $ˆ ##$ # $! Š # ƒ'#ˆ # $ƒ!$ '!' $ Š ##ƒ$!# $ ƒ! Š # ˆ! %$ ## $ ƒ! ˆ ˆ ˆ # $ƒ!$ $ˆ ## $! # # $ # $ Š $$ ˆ#%# $ $ $ƒ! ' # $ # $ $ ƒ Š $$ $ Šˆ ' $ # ' $ƒ

33 the ratio between the 1st and the 11th eigenvalues is 8 Log 10 Eigenvalue Eigenvalue order!"# t $ t 6/07J.HG0 5;04<2G- 67. ` H.U K \06/9<5 70<\32M _^ D_a ` DE <2.670K 37 Q_E 9.7K\26<<07 K6/6<5e #$ # Ž $ ' $ # $ƒ!! ƒ!! ƒ# $# # # # $! Š$ $ˆ ˆ $ ## # #$ # ˆ ƒ$ $!' $ # Š # $ $ $! # $$ # # $ #$ $ y y} {} { z } z ~ z š { z { Š $ $ # $!! $ Š # $ # $ $ ƒ $ˆ ƒ$$ˆ $ Š $ ' ƒƒ# #$$ # $!! ˆ!$ Ž $ $ Š## $$ Šˆ % $$ % ' %(!! # ƒƒ# $ˆ ## $! ' ˆ! $ $ˆ ## $ $! $ƒ! ƒ ˆ $ ( $ $!! ˆ!$ %! #%$! Š ' $! $ $ ˆ! ( Š $!$ $$! ƒ$# ƒƒ# # ' # ˆ ƒ Š##! $ $!!$ $! ' # #$$ ƒ'#ˆ $ $ˆ ## ƒ'#ˆ $ #%#! ƒ$ # Š ƒƒ ˆ % # ƒ'#ˆ $ $! # %&'

34 Number of Eigenvalues Big killers Eigenvalue magnitude!"# t t 6/07J.HG0 5;04<2G- 67. ` H.U K \06/9<5 70<\32M _^ D_a ` DE <2.670K 37 Q_E 9.7K\26<<07 K6/6<5e!"# t $t ZGH<6H.U020K.2496<04<G20j < K K026J.<6J0 65 3k<07 5-.HH02 67 H3\02 H.U025e

35 '$ '$ ˆ' Š $ƒ! #'#! $ˆ ƒ# # ˆ ƒ$ $ ˆ ' $ ƒƒ#! #! %!! ƒ'#ˆ $ ' ˆ! # Š! ƒˆ ##! $ #! $ˆ $ $ # $ ƒ! $ ƒ#! ' Œ ' (! ƒ # ˆ! Ž ' $ $ $ Š ' (! # ˆ! $ ˆ ƒ! # $$ $ˆ Š $!! $ƒ ƒˆ Ž $$ $!! ' '! ' ƒƒ $ $ Šˆ#$ Š $ $ $ $ $ $ˆ $ $ ˆ ˆ ƒ!!# # $ Š ƒˆ!$ #'# #! $ $ˆ Š! # $!! $ƒ $ ƒˆ ƒ Šˆ '# ƒ $ $!! $ $ˆ ## ƒˆ ˆ $ ƒ$ Š Š Ž $ˆ $ ˆ ƒ! $ $ $ˆ ## $!ˆ $ ˆ Š ˆ ˆ $ ' $! Ž $!!$ ' ˆ ƒ! ƒ $'$ Š $ # $# # #! ' $ˆ! Š ƒ $!!# $ # ' ƒƒ $ # '#! $ $ # Š ˆ' ' ˆ $ Š$ Š##! $ $! # ˆ! $ Š $ $! # % ' (! ˆ! Š ˆ ƒ#!' $$ Š #% $ '$# ƒˆ $ $ Š $! $ˆ ## # $ Š## $ Š ˆ ƒ ƒ ƒ# # % Š $$ ˆ ƒ $$ $#Š &ˆ ˆ' $ #$!! ˆ! ƒƒ ˆ $ˆ ##$ Š $$ ˆ ƒ $$ $ #$

36 Weight space 2 Learning rates: η0 = 0.12 η1 = 0.03 η2 = 0.02 Hessian largest eigenvalue: λ = 0.84 max Maximum admissible Learning rate (batch): η = 2.38 max Log MSE (db) epochs!"# t t F<349.5<64 G.2K<.H/326<9- e :.<. 50< k23- _ Y.G5B \6<9 DEE 0u.- ;H05e >90 70<\32M H670.2 G76<C _ 67;G<5.7K D 3G<;G<C 6e0e <9200 ;.2.- 0<025 _ \06/9<5C D A6.5 e

37 2 Weight space Learning rates: η0 = 0.76 η1 = 0.18 η2 = 0.12 Hessian largest eigenvalue: λ = 0.84 max Maximum admissible Learning rate (batch): η = 2.38 max Log MSE (db) epochs!"# t t F<349.5<64 G.2K<.H/326<9- e :.<. 50< k23- _ Y.G5B \6<9 DEE 0u.- ;H05e >90 70<\32M H670.2 G76<C _ 67;G<5.7K D 3G<;G<C 6e0e <9200 ;.2.- 0<025 _ \06/9<5C D A6.5 e

38 ƒ $# Š!$ $$ $ $ Šˆ!ˆ # ## ## ƒ ƒ# ƒ ƒ# $ƒ! ## $ƒ! # ˆ! ˆ $ $ Š Š $ˆ ## ƒ% '$ Š! #$ #! ƒ ƒ# Š $ $ˆ ## $ Š $ ƒ! $ Š!! '! ƒƒ $ƒ$ Š ƒ $ Ž Š## # ˆ $ $ Š % ' # $ # Š $$ Š$ Ž $ˆ ˆ # ˆ ƒ$!ˆ $ $ Š # Š ƒ ƒ $ ƒ$!!$! ƒ Š!! '! ƒƒ $ƒ $ ƒšˆ!!!$ $! $!!! Š!! '! ƒƒ $ƒ $ ƒšˆ! ƒ'!!!$ $!!' $ ˆ ƒ!! Š $ ƒ!! #ƒ Šˆ % # $'# $'# $# $ '! Š ƒˆ # # $ $ $ # Š # $ Š Š ˆ' Š ƒ ƒ$$ Š #! $ ƒ!ƒ # $ Š! Š $ $ #$!! $ Š Š ƒ ƒ$$! Š ˆ! Š # # $! ˆ ƒˆ $ #$ '$ $ Š $$ $ˆ ##

39 eigenvalue γ=0.01 γ= γ= γ=0.03 Number of pattern presentations!"# t t J3HG<637 3k <90 06/07J.HG0.5. kg74<637 3k <90 7G-A02 3k ;.<<027 ;20507B <.<6375 k K \ 06/9< 70<\ 32M \ 6<9 ^ H.U025 C ` Qa <6375.7K D_Pa k200 ;.2.- 0<025e >90 <2.6767/ 50< <5 3k DEEE 9.7K\26<<07 K6/6<5e

40 ! $ $ˆ #!$! ƒšˆ! ˆ' Š ƒ $ # $ ˆ ƒ! ' ˆ#ƒ# ƒ%!! # ' ƒ!! $ $ $ $ ƒ!! ƒˆ # # $ $ $!# $ #$! ' '$ Š $!$ ƒ!! ƒˆ # $ ƒˆ # MEAN SQUARED ERROR epoch 2 epochs 3 epochs 4 epochs 5 epochs LEARNING RATE PREDICTED OPTIMAL LEARNING RATE!"# t t Z G.20K kg74<637 3k <90 2.<63 A 0<\007 H0.2767/ 2.<0.7K ;20K64<0K 3;<6-.H H0.2767/ 2.<0 k32. kghhu <0K 70<\32M Pa` QE DE e >90 <2.6767/ 50< <5 3k QEE 9.7K\ 26<<07 K6/6<5 e

41 2.5 2 MEAN SQUARED ERROR epoch 2 epochs 3 epochs 4 epochs 5 epochs LEARNING RATE PREDICTED OPTIMAL LEARNING RATE!"# t t Z G.20K kg74<637 3k <90 2.<63 A 0<\007 H0.2767/ 2.<0.7K ;20K64<0K 3;<6-.H H0.2767/ 2.<0 k K \06/9< 70<\32M \6<9 ^ H.U025 DE_` D^ a QV_ `EE DEE DE C ` Qa H34.H <6375.7K D_Pa k200 ;.2.- 0< K \06/9<5 e >90 <2.6767/ 50< <5 3k DEEE 9.7K\ 26<<07 K6/6<5 e

42 w ~ y šy} y ~ y! ˆ ˆ!$ ˆ! ' ƒ Š ˆ#%# # ƒ'#ˆ #! Š## $ƒ$ $ ˆ ƒ#$ ƒ '#$ ' $' ˆ ˆ # ƒ '# $!!! Š Š ƒ$$'#! # ƒ '#$ ƒ $ ˆ! Š $ $ #$ Š $ ˆ! ƒ ##! % # $!ˆ #$ $ ƒ$ '! ' Ž ƒš! ˆ! Š $ #! ' ƒ! $ Š## $ Š $ $ # ˆ Š!! $ˆ ƒ#$!!!! Š $ $ #$$ $ $ $! Š# $ $ $! # ' (! ˆ! Š $ $ # Š $ $ $$ $! #$$ # $!%! ˆ!$ ˆ ƒ # #ˆ $ ## $Š# $$ Ž %#! ˆ $ Š $ $!!$ ˆ#%# # $ ƒ ## $ ƒ$ # $ $## Š Šˆ ' ##!$! ( #! $ $ˆ ƒˆ # $!! " %& ( Š## #! ˆ# $ Šˆ ŒŒ! { y De Fe =-.26e N0G2.H H0.2767/ 67 5<2G4<G20K ;.2.- 0<02 5; <G2.H /2.K607<e,7 Z649.0H ] e Z3I02C Z649.0H,e O32K.7 C.7K > <5490C 0K6<325C C J3HG- 0 VC ;./0 D_Pe >90 Z,> 12055C DVVPe _e Fe =-.26e N.<G2.H /2.K607< \32M <HU 67 H0.2767/ e C DE _ j_^d_p C DVVae Qe 8 e L.<<6<6e [625<B.7K 50437KB32K02-0<93K5 k32 H0.2767/ j L0<\007 5<00;05< K05407<.7K 70\<37 5-0<93Ke C ` jd` D D C DVV_e ` e Fe L04M02.7K e,- ;23J67/ <90 437J02/0740 3k A.4MA23;./.<637 H0.2767/ \6< K 3K02-0<93 K5e,7 :.J6K >3G20<IMUC Y03v20U 67<37 C.7K > F0 73\5M6C 0K6<325C!"" # C ;./05 2HA.G- =55346.<05C DVaVe ^e ] e Z e L6593; e $ % & e ]H.207K C Wuk32K C DVV^e e L3<<3G e W7H670.H/326<9-5.7K 5<349.5<64.;;23u6-.<6375e,7 :.J6K F..K C 0K6<32C ' ( $ % )!!* +% $,C ].-A26K/0C DVVae >90 N0\<37,75<6<G<0 F02605C ].-A26K/0 R76J0256<U 12055e

43 Pe : e Fe L K.7K : ZGH<6J.26.AH0 kg74<637 67<02;3H.<637.7K.K.;<6J0 70<\32M5e C _jq_dq^^c DVaae ae T e LG7<670.7K = e Fe T06/07K e ]3- ;G<67/ 50437K 32K02 K026J.<6J05 67 [00KB [32\.2K 70<\32M5j = 20J60\ e $ %C DVVQe >3.;;0.2e Ve ] e :.2M07.7K Oe e Z33KUe N3<0 37 H0.2767/ 2.<0 5490KGH05 k32 5<349.5<64 3;<6B - 6I.<637 e,7 8 e C Oe e Z33KUC.7K : e Fe >3G20<IMUC 0K6<325C C J3HG- 0 QC ;./05 aq_aqae Z32/.7 h.gkb -.77 C F.7 Z.<03C ]= C DVVDe DEe h e,e :6.-.7<.2.5.7K Fe e hg7/ e $ % e T 6H0UC N0\ 32M C DVV e DDe 8 e [H0<4902e # ' C 49.;<02 aep j 13HU73-6.H <6-0.H/326<9-5C ;./05 DaQ Daae O397 T 6H0U? F375C N0\ 32M C 50437K 0K6<637 C DVaPe D_e Fe Y0-.7 C e L607075<34M C.7K 8 e :3G25.<e N0G2.H 70<\32M5.7K <90 A6.5J K6H0- -.e C ` D jd^ac DVV_e e Y3HK5<067 e Z0.7 5 G.20 3;<6-.H6<U 67 <90 437<67G3G5 <6-0 83AA675 Z3723 ;23B 40KG20e > H 80;32< :8LBQE C :0;<e 3k Z.<90-.<645C R76J0256<U 3k F3G<9027 C DVaPe D` e Y e e Y3HGA.7K ] e [ e # _7K 0K e O3975 3;M675 R76J0256<U 12055C L.H<6-320C DVaVe D^e > ez e 05M05.7K L e h.;;07 e W7BH670 H0.2767/ ; <6f46.H 70G2.H 70<B \32M5e,7 Oe Y e >.UH02C 0K6<32C # $ % C J3HB G- 0 ^DC ;./05 DVV_QQe H50J602C =- 5<02K.- C DVVQe D e 83A02< = e O.43A5e, K 2.<05 3k 437J02/0740 <923G/9 H0.2767/ 2.<0.K.;<.<637 e $ %C Dj_V^QEPC DVaae DPe = e e h K = e F.7/63J.776B 67407<0HH6e 4607< ;.2.HH0H H0.2767/.H/326<9-5 k32 70G2.H 70<\32M5e,7 : e Fe >3G20<IMUC 0K6<32C!"" C ;./05 `E`aC F.7 Z.<03C ]= C DVaVe Z32/.7 h.gk-.77 e Dae e # ),e 19: <90565C R76J0256< 0 1e 0< Z e ]G , C DVaPe DVe e Y0702.H6I.<637.7K 70<\32M K056/7 5<2.<0/605e,7 8 e 1k06k02C e F4920<02C [ e [3/0H-.7 e F<00H5C 0K6<325C C =- 5<02K.- C DVaV e H50J602 e K67/5 3k <90,7<027.<637.H ] 37k ] 37704< B 5;04<6J0C R76J0256<U 3k gg2649 C DEe DQe W4<3A02 DVaae _Ee C L e L3502C Oe Fe :07M02C : e 07K02537 C 8 e e 3\.2KC T e GAA.2K e : e O.4M0He.7K\26<<07 K6/6< 2043/76<637 \6<9. A.4M;23;./.<637 70<\32M e,7 : e Fe >3G20<5MUC 0K6<32C C F.7 Z.<03 C ]= C DVVEe Z32/.7 h.gk-.7 e _De C OeFe :07M02C.7K Fe= e F3HH.e W;<6-.H A2.67 K.-./0e,7 : e Fe >3G20<5MUC 0K6<32C C ;./05 ^Va E^C DVVEe e C,e h.7<02c.7k Fe = e F3HH.e F0437K 32K02 ;23;02<605 3k G2k.405e,7 C F.7 Z.<03 C ]= C DVVDe Z32/.7 h.gk-.77 e _Qe C 1e e F6-.2KC.7K L e 10.2H-G<<02e =G<3-.<64 H0.2767/ 2.<0 -.u6-6i.b <637 AU 37BH670 05<6-.<637 3k < /07J04<325 e,7 Y6H05 C.7537 C.7K ]3\.7 C 0K6<325C C F.7 Z.<03 C ]= C DVVQe Z32/.7 h.gk-.77 e _` e Z e Z HH02 e = 54.H0K 437 G/.<0 /2.K607<.H/326<9- k32 k.5< 5G; 02J650K H0.2767/ e $ %C j^_^^qqc DVVQe

44 _^e Z e Z HH02e FG;02J650K H0.2767/ 37 H.2/0 20KG7K.7< <2.6767/ 50<5e C ` D jd^_^c DVVQe _ e Oe e Z33KU.7K ] e Oe :.2M07 e [.5< H0.2767/ 67 70<\32M5 3k H34.HHUB<G70K ; / G76<5e C Dj_aD_V` C DVaVe _Pe N e ZG2.<.e ),e 19: <90565C R76J0256<U 3k >3MU3 C DVV_e _ae N e ZG2.<.C h eb8 e Z gghh02c = e 6090C.7K Fe =-.26e =K.;<6J0 37BH670 H0.2767/ /67/ 07J <5e,7 Z649.0H ] e Z3I02C Z649.0H,e O32K.7 C.7K > <5490C 0K6<325C C J3HG- 0 VC ;./0 ^VVe >90 Z,> 12055C DVVPe _Ve = e e W;; K 8 et e F49.k02e e 1207<640.HHC 7/H0\33K ]H6v5C DVP^e QEe Y e L e W22e e 19: <90565C W20/37 Y2.KG.<0,75<6<G<0 C DVV^e Q De Y el e W22 e 8 0-3J67/ BH G567/.K.;<6J0 A.<49 56I05 e,7 Z649.0H ] e Z3I02C Z649.0H,e O32K.7 C.7K > <5490C 0K6<325C C J3HG- 0 VC ;./0 _Q_e >90 Z,> 12055C DVVPe Q_e Z eoe@ e W22e 80/GH.26I.< <90 50H04<637 3k 2.K6.H A.565 kg74< <025e C P Q j E _QC DVV^e QQe L e= e 10.2H-G<<02e [.5< 0u.4< -GH<6;H64.<637 AU < e C jd`p D EC DVV` e Q` e T e e 12055C L e 1e [H.7702UC Fe = e >0GM3H5MUC.7K T e > e 0<<02H67/e & e ].-A26K/0 R76J0256<U 12055C ].-A26K/0C 7/H.7K C DVaae Q^e : e F..KC 0K6<32e ' ( $ % )!!* +% $,e >90 N0\<37,75<6<G<0 F02605C ].-A26K/0 R76J0256<U 12055C ].-B A26K/0C DVVae Q e : e F..K.7K Fe = e F3HH.e u.4< 53HG<637 k32 37BH670 H0.2767/ 67 -GH<6H.U02 70G2.H 70<\32M5e & $ ( C P` j`qqp`q`ec DVV^e QPe e F3- ;3H675MUC N e L.2M.6C.7K efe F0G7/ e W7BH670 H0.2767/ 3k K6493<3-605j.HB /326<9-5.7K H0.2767/ 4G2J05e,7 OB e W9 C ] e h\37 C.7K Fe ]93 C 0K6<325C $ % # C ;./05 DE^ DQEe F67/.;320j T32HK F4607<6f4 C DVV^e Qae 8 efe FG<<37 e =K.;<67/ A6.5 AU /2.K607< K05407<j = <.H J k K0H<.B A.2BK0H<.e,7 T 6HH6.- F\.2<3G<C 0K6<32C C ;./05 DPD DP C F.7 O350C ]= C OGHU DVV_e Z,> 12055e QVe 1e J.7 K02 F-./<e Z <637-0<93K5 k32 <2.6767/ k00kbk32\.2k 70<\32M5e $ %C P D jd DDC DVV`e `Ee e.;76m e ( e F;267/02 02H./ C N0\ 32M C DVV^e `De e.;76m e ( T 6H0UC N0\ 32M C DVVae `_e = e T.6A0HC > e.7.i.\.c Y e 67<37 C h e F96M.73 C.7K h e e /B 76<637 G567/ <6-0BK0H.U 70G2.H 70<\32M5e C = FF1BQPjQ_aQQVC DVaVe `Qe T e T 60/02674M C = e h3-3k.c.7k > e 05M05e F<349.5<64 KU k H0.2767/ \6< <G G2.H 70<\32M5e C _Pj``_^``QPC DVV` e `` e e e.7/.7k Fe =-.26e > U.7K <90 23AG5<7055 3k 7.<G2.H /2.K607< K05407< H0.2767/ 2GH0e,7 Z649.0H,e O32K.7 C Z649.0H Oe h0.275c.7k F.2. = e F3HH.C 0K6<325C C J3HG- 0 DEe >90 Z,> 12055C DVVae