[发明专利]一种基于牛顿迭代法的非线性激活函数计算装置

说明书

本发明公开了一种基于牛顿迭代法的非线性激活函数计算装置，包括：多项式近似计算单元，用于对非线性激活函数进行多项式近似计算，得到第一近似结果；指数函数计算单元，用于对非线性激活函数中的指数部分进行指数函数的近似计算，得到第二近似结果；牛顿迭代计算单元，依据第一近似结果和第二近似结果采用牛顿迭代法进行迭代计算，得到精确计算结果。该非线性激活函数计算装置适用于定点数计算，在资源消耗较少地情况下实现了高精度的计算，以满足神经网络模型中激活函数高效准确且降低计算能耗的需求。

技术领域

本发明涉及计算机人工智能领域，集成电路设计领域，具体涉及一种基于牛顿迭代法的非线性激活函数计算装置。

背景技术

在人工智能领域中，线性模型的表达能力不够，往往通过激活函数增加神经网络模型的非线性，提升神经网络模型表达能力，该数据常常线性不可分。常见的激活函数例如sigmoid，tanh等都涉及到指数函数运算以及除法运算，软件上常通过迭代的算法不断尝试去逼近真实值，而这些函数在硬件上难以直接实现。

随着人工智能的广泛应用，许多深度学习硬件加速器应运而生。为了高效实现该计算过程，在集成电路设计领域，会对各种激活函数进行硬件实现。对非线性激活函数而言，硬件实现需要对硬件资源，计算精度，计算效率和计算延时进行有效权衡。简单高效地硬件实现能够在误差允许的范围内使用较少地资源完成快速计算的目的。在集成电路领域，计算元件常常包括加法器，乘法器，移位器，逻辑运算器等。这些元器件只能完成线性变换操作，不能实现指数函数等复杂函数。与ReLU等激活函数相比，sigmoid、tanh等函数复杂程度很高，较难设计实现。

申请公布号为CN107589935A的专利申请公开一种非线性函数计算装置及方法，申请公布号为CN107590105B的专利申请公开了一种面向非线性函数的计算装置及方法，这两个专利申请中均将非线性函数转化为线性函数，通过加法器和乘法器来计算，是一个低精度近似计算，计算精度不高，不满足神经网络模型中激活函数的计算需求。

发明内容

本发明的目的是提供一种基于牛顿迭代法的非线性激活函数计算装置，以解决神经网络模型中激活函数难以高效准确计算的问题。

为实现上述发明的，本发明提供以下技术方案：

一种基于牛顿迭代法的非线性激活函数计算装置，包括：

多项式近似计算单元，用于对非线性激活函数进行多项式近似计算，得到第一近似结果；

指数函数计算单元，用于对非线性激活函数中的指数部分进行指数函数的近似计算，得到第二近似结果；

牛顿迭代计算单元，依据第一近似结果和第二近似结果采用牛顿迭代法进行迭代计算，得到精确计算结果。

优选地，多项式近似单元中，对非线性激活函数的有效计算区间进行区段划分，根据输入变量所属区段提取对应的多项式参数并依据该多项式参数进行多项式近似计算，得到第一近似结果；所述多项式参数为事先多项式拟合得到的。

优选地，所述多项式近似单元中包括用于存储多项式参数的存储器、加法器和乘法器，来实现多项式近似计算。

优选地，所述非线性激活函数的有效计算区间为[0,8)，并将效计算区间[0,8)划分为8个区段，针对每个区段的两个端点值存储区段内的多项式参数，当计算时，直接根据输入变量所属的区段查找得到对应的多项式参数。

优选地，所述指数函数计算单元采用表驱动(table-driven)的近似策略来对非线性激活函数中的指数部分进行指数函数近似计算，得到第二近似结果。