[发明专利]一种基于概率分布的Sigmoid函数拟合方法

说明书

本发明涉及人工智能神经网络领域，一种基于概率分布的Sigmoid函数拟合方法，将Sigmoid函数应用于神经网络的激活函数，根据Sigmoid函数的二阶导数，将Sigmoid函数划分为三个固定的区域；近似常数区Sigmoid函数值固定为0或者1，另外两个固定的区域划分成多个拟合函数子分段，二阶导数越小时，包含此点的区间间隔较大。本发明将Sigmoid函数分为三个固定区域，每一层神经元根据该层神经元输出值在三个区域的概率分布大小，采用不同的分段线性函数，使得有限的硬件资源更多得用于概率较大的区域。

技术领域

本发明涉及人工智能神经网络领域，具体涉及一种基于概率分布的Sigmoid函数拟合方法及其硬件实现。

背景技术

人工神经网络是仿照生物神经网络工作的计算模型。由于其本质是一种并行结构，人工神经网络逐渐在硬件上实现以提高执行速度。

人工神经网络的基本单元是神经元。一个神经元包含两种操作：乘加运算和激活函数。而Sigmoid函数是一种广泛应用于神经网络的激活函数。由于Sigmoid函数包括除法和指数运算，所以很难直接在硬件上实现此函数。为了解决这个问题，许多拟合方法被提出来以有效地在硬件上实现Sigmoid函数。这些拟合方法都以拟合函数和Sigmoid函数的误差作为衡量标准，在此基础上减少硬件复杂度。但是网络的识别率并不随着拟合函数和Sigmoid函数的误差减小而增大，因此在减小硬件复杂的基础上提高网络识别率是有意义的。

发明内容

为了解决现有技术中的不足，本发明提供了一种基于概率分布的Sigmoid函数拟合方法，减少Sigmoid函数的硬件复杂度，提高神经网络的识别率。

为了实现上述目标，本发明采用如下技术方案：一种基于概率分布的Sigmoid函数拟合方法，将Sigmoid函数应用于神经网络的激活函数，包括步骤：

步骤一：根据Sigmoid函数的二阶导数，将Sigmoid函数划分为三个固定的区域即近似线性区、饱和区、近似常数区；

步骤二：近似常数区Sigmoid函数值固定为0或者1，另外两个固定的区域划分成多个拟合函数子分段，拟合函数子分段数根据每层神经元输出值的统计概率的变化而变化，拟合函数子分段的区间大小不同，其取决于子区间内点的二阶导数绝对值的大小，二阶导数越大，包含此点的区间间隔较小，二阶导数越小时，包含此点的区间间隔较大；

步骤三：将拟合函数子分段的线性函数斜率设为2^-n，其中n为正整数，改变n和线性函数偏置b，根据得到的新的函数和原函数的最大绝对误差的最小值来确定拟合函数子分段的线性函数，得到拟合的分段线性函数；

步骤四：根据拟合的分段线性函数得到基于概率分布的Sigmoid函数拟合的硬件电路。

步骤一中，根据Sigmoid函数f(x)的二阶导数将Sigmoid函数划分为三个固定的区域即近似线性区、饱和区、近似常数区，满足|f″(x₁)||f″(x₂)||f″(x₃)|，其中，x为Sigmoid函数的的横坐标值，e为自然常数，x₁∈x、x₂∈x、x₃∈x，x₁属于近似线性区，x₂属于饱和区，x₃属于近似常数区。

步骤二中，每层神经元输出值的统计概率是指神经网络训练后每层神经元输出值的分布结果，每一个固定区域的子分段数满足公式N_i＝P_i×N_total，P_i表示神经元输出值在某一固定区域的统计概率；N_i表示对应于概率为P_i区域的子分段数；N_total表示总分段数。