[发明专利]一种基于概率分布的Sigmoid函数拟合方法

权利要求书

1.一种基于概率分布的Sigmoid函数拟合方法，将Sigmoid函数应用于神经网络的激活函数，其特征在于：包括步骤

步骤一：根据Sigmoid函数的二阶导数，将Sigmoid函数划分为三个固定的区域即近似线性区、饱和区、近似常数区；

步骤二：近似常数区Sigmoid函数值固定为0或者1，另外两个固定的区域划分成多个拟合函数子分段，拟合函数子分段数根据每层神经元输出值的统计概率的变化而变化，拟合函数子分段的区间大小不同，其取决于子区间内点的二阶导数绝对值的大小，二阶导数越大，包含此点的区间间隔较小，二阶导数越小时，包含此点的区间间隔较大；

步骤三：将拟合函数子分段的线性函数斜率设为2^-n，其中n为正整数，改变n和线性函数偏置b，根据得到的新的函数和原函数的最大绝对误差的最小值来确定拟合函数子分段的线性函数，得到拟合的分段线性函数，将拟合函数子分段的线性函数斜率设为2^-n，新的函数n和b_i由以下公式同时确定：

随着n的变化，集合D根据新的函数和原函数的最大绝对误差的最小值确定对应于不同n的b_i，集合T得到集合D中最大绝对误差的最小值确定最优的n和b_i，其中b_i为对应子分段函数的函数偏置，a_i为对应子分段函数横坐标最小值，c_i为对应子分段函数横坐标最大值；

步骤四：根据拟合的分段线性函数得到基于概率分布的Sigmoid函数拟合的硬件电路。

2.根据权利要求1所述的一种基于概率分布的Sigmoid函数拟合方法，其特征在于：步骤一中，根据Sigmoid函数f(x)的二阶导数将Sigmoid函数划分为三个固定的区域即近似线性区、饱和区、近似常数区，满足|f″(x₁)||f″(x₂)||f″(x₃)|，其中，x为Sigmoid函数的横坐标值，e为自然常数，x₁∈x、x₂∈x、x₃∈x，x₁属于近似线性区，x₂属于饱和区，x₃属于近似常数区。

3.根据权利要求1所述的一种基于概率分布的Sigmoid函数拟合方法，其特征在于：步骤二中，每层神经元输出值的统计概率是指神经网络训练后每层神经元输出值的分布结果，每一个固定区域的子分段数满足公式N_i＝P_i×N_total，P_i表示神经元输出值在某一固定区域的统计概率；N_i表示对应于概率为P_i区域的子分段数；N_total表示总分段数。

4.根据权利要求1所述的一种基于概率分布的Sigmoid函数拟合方法，其特征在于：根据不同固定区域的概率分布，近似线性函数被分为三个不同的分段线性函数，当神经元输出值概率在近似线性区域处于0％-30％时，分段线性函数为F₀；当神经元输出值概率在近似线性区域处于30％-70％时，分段线性函数为F₁；当神经元输出值概率在近似线性区域处于70％-100％时，分段线性函数为F₃。

5.根据权利要求1所述的一种基于概率分布的Sigmoid函数拟合方法，其特征在于：每一层神经元根据此层神经元值的概率分布，采用三个不同分段线性函数的其中一个。

6.根据权利要求1所述的一种基于概率分布的Sigmoid函数拟合方法，其特征在于：近似常数区固定为0或者1，不根据此区域神经元输出值概率变化而变化；N_total在涉及近似线性区域和饱和区域，且取值为12。