[发明专利]一种用于针对神经网络执行非线性运算的方法和装置

权利要求书

1.一种用于在神经网络中执行非线性函数运算的方法，包括：

1)根据所述非线性函数的输入值的范围，划分多个分段区间；

2)针对所述多个分段区间中的每一个，将其两个端点值分别作为所述非线性函数的自变量，计算获得与所述分段区间对应的两个因变量；

3)将所述计算获得的与所述分段区间对应的所述两个因变量和所述两个自变量作为与所述分段区间对应的线性函数上的两点，计算与每个分段区间对应的线性函数的斜率和截距；

4)针对所述多个分段区间中的每一个，存储与其对应的斜率和截距，以用于执行所述非线性函数运算。

2.根据权利要求1所述的方法，其中步骤3)还包括：

若所述非线性函数为凹函数，则计算其与所述线性函数之间的最大误差，并采用当前截距减去所述最大误差的一半的结果以作为新的截距。

3.根据权利要求1所述的方法，其中步骤1)包括：

针对神经网络的各层网络，统计在该层网络中激活函数的输入值的范围，以作为针对该层网络的所述需要处理的输入值的范围。

4.根据权利要求1-3中任意一项所述的方法，其中与所述非线性运算对应的非线性函数包括：f(x)＝tanh(x)、f(x)＝max(0，x)。

5.根据权利要求1-3中任意一项所述的方法，其中还包括：

5)在执行所述非线性函数运算时，根据所述非线性函数的输入值所处的分段区间，将执行由与所述分段区间对应的斜率和截距所确定的线性函数的运算所获得的结果作为所述非线性运算的结果。

6.一种基于权利要求1-4中任意一项所述的方法，执行神经网络中非线性函数运算的方法，包括：

A1)将所述非线性函数的输入值与存储的各个分段区间的端点值进行比较，确定所述非线性函数的输入值所处的分段区间；

A2)获得存储的与所述非线性运算的输入值所处的分段区间对应的线性函数的斜率a和截距b，将所述非线性运算的输入值作为线性函数y＝ax+b的自变量，计算相应的因变量以作为所述非线性函数运算的输出值。

7.一种用于神经网络处理器执行非线性函数运算的计算装置，包括：

查找表单元，用于存储通过权利要求1-4中任意一项方法获得的所述多个分段区间中的每一个的所述两个端点值、以及与每个分段区间对应的线性函数的斜率和截距；

匹配单元，用于根据所述非线性函数的输入值、以及所述查找表单元所存储的分段区间的端点值，将所述非线性函数的输入值匹配到相应的分段区间；

计算单元，用于根据由所述匹配单元匹配确定的所述分段区间、以及所述查找表单元所存储的与所述分段区间对应的线性函数的斜率和截距，将所述非线性函数的输入值作为所述线性函数的因变量，执行所述线性函数的运算。

8.一种在神经网络的计算过程中执行激活函数运算的方法，包括：

B1)针对神经网络执行计算的当前的网络层，确定其所使用的激活函数，并且统计所述激活函数的输入值的范围；

B2)根据所获得的所述激活函数的输入值的范围、以及设置的分辨率，将所述激活函数的输入值的范围划分多个分段区间；

B3)针对所述多个分段区间中的每一个，将其两个端点值和分别作为与所述激活函数的自变量，计算获得对应的两个因变量，并且将所述两个自变量和所述两个因变量作为与所述分段区间对应的线性函数上的两点，计算所述线性函数的斜率和截距，针对所述分段区间存储计算获得的所述斜率和所述截距；

B4)将所述激活函数的输入值与存储的各个分段区间的所述端点值进行比较，确定所述输入值所处的分段区间，并据此确定与所述分段区间对应的斜率和截距；

B5)将所述激活函数的所述输入值作为与所确定的斜率和截距对应的线性函数的自变量，计算相应的因变量以作为所述激活函数的输出值。

9.根据权利要求8所述的方法，其中步骤B3)包括：

若所述激活函数为凹函数，则计算其与所述线性函数之间的最大误差，并采用当前截距减去所述最大误差的一半的结果以作为新的截距。

10.一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现如权利要求1-6、8、9中任意一项所述的方法。