[发明专利]一种具有高灵活性与精度的非线性运算电路结构

说明书

本发明属于集成电路设计技术领域，具体为一种具有高灵活性与精度的非线性运算电路结构。本发明电路结构包括五部分：粗粒度的查找表X、细粒度的查找表Y、两个用于提升查找表精度的插值器、输出选择器以及一些基本运算单元。该电路使用一个粗粒度的查找表来保证该电路支持很大的输入范围，并使用一个细粒度的查找表来覆盖整个输入范围的某一部分，从而保证能在非线性函数坡度显著变化的区域取得令人满意的精度。本发明可提高硬件单元使用率，从而提高电路的工作效率；同时，可编程的查找表使得该电路具有很高的灵活性，可以实现神经网络中几乎所有的非线性激活函数，插值器的使用进一步提升了查找表的精度以及动态范围。

技术领域

本发明属于集成电路设计技术领域，具体涉及一种具有高灵活性与精度的非线性运算电路结构。

背景技术

上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。

卷积神经网络是多层感知机的变种。由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来。视觉皮层的细胞存在一个复杂的构造。这些细胞对视觉输入空间的子区域非常敏感，我们称之为感受野，以这种方式平铺覆盖到整个视野区域。这些细胞可以分为两种基本类型，简单细胞和复杂细胞。简单细胞最大程度响应来自感受野范围内的边缘刺激模式。复杂细胞有更大的接受域，它对来自确切位置的刺激具有局部不变性。卷积神经网络结构包括：卷积层，池化层，全连接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。

卷积神经网络由于其巨大的计算量，因此如何在移动终端上进行本地运算也成了一项挑战，神经网络加速芯片的设计成了热点。

本发明提出了一种具有高灵活性与精度的非线性运算电路结构。该电路使用一个粗粒度的查找表来保证该电路支持很大的输入范围，并使用一个细粒度的查找表来覆盖整个输入范围的某一部分，从而保证能在非线性函数坡度显著变化的区域取得令人满意的精度。可编程的查找表使得该电路具有很高的灵活性，可以实现神经网络中几乎所有的非线性激活函数。插值器的存在进一步提升了查找表的精度以及动态范围。

发明内容

本发明的目的在于针对神经网络的激活函数的运算加速，提供提出了一种具有高灵活性与精度的非线性运算电路结构，以提高硬件复用效率，减少芯片面积。

本发明提供的针对神经网络的激活函数进行加速的电路结构，通过使用一个粗粒度的查找表来保证该电路支持很大的输入范围，并使用一个细粒度的查找表来覆盖整个输入范围的某一部分，从而保证能在非线性函数坡度显著变化的区域取得令人满意的精度。

本发明提供的非线性运算电路结构，包括：粗粒度的查找表X、细粒度的查找表Y、两个用于提升查找表精度的插值器、输出选择器，以及一些基本运算单元；粗粒度的查找表X和一个插值器，细粒度的查找表Y和另一两个插值器，分别构成上下对称的两个数据通道，其中：

所述粗粒度查找表X拥有M个入口，它可以覆盖非线性激活函数的大部分输入范围。因为逻辑资源有限，粗粒度查找表X无法在很大的动态范围内获得较高的精度；

所述细粒度查找表Y拥有N个入口，它仅覆盖非线性激活函数整个输入范围的一小部分，通常用以覆盖非线性函数坡度显著变化的区域。神经网络中常用的非线性激活函数如tanh，sigmoid等，均有一个坡度显著变化的区域，如图2所示。细粒度查找表Y保证了电路能在非线性函数坡度显著变化的区域取得令人满意的精度；