[发明专利]一种神经网络模型的激活函数生成方法

说明书

技术领域

本发明涉及一种机器学习相关领域，特别涉及一种神经网络模型的激活函数生成方法。

背景技术

近年来，深度学习在计算机视觉领域取得了引人注目的成果，其中一个重要因素是激活函数的发展。在人工神经网络中，神经元节点的激活函数定义了对神经元输出的映射，简单来说，神经元的输出经过激活函数处理后再作为输出。

神经网络中激活函数的主要作用是提供网络的非线性建模能力。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据。加入非线性激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。因此，激活函数是深度神经网络中不可或缺的部分。

随着深度学习的快速发展，激活函数的种类也逐渐丰富起来。目前机器学习领域应用广泛的激活函数有Sigmoid(S型生长曲线)函数、Tanh(双曲正切)函数、ReLU(修正线性单元)函数、PReLU(参数化修正线性单元)函数、PELU(参数化指数型线性单元)函数、RReLU(随机修正线性单元)函数等等。但是，这些基本的激活函数都存在不足，比如梯度消失、收敛速度较慢、均为凸函数等问题。另一方面这些激活函数也无法对不同的输入做出相对应的激活，这是因为一旦激活函数预先定义或者学习完毕，在神经网络模型测试阶段激活函数就不会再改变。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种神经网络模型的激活函数生成方法，通过该方法生成的激活函数提高了神经网络模型学习非线性变化的能力，并且使得神经网络模型在测试阶段能够对不同的输入作出不同响应，改进了神经网络使用单一种类激活函数存在的不足。

本发明的目的通过下述技术方案实现：一种神经网络模型的激活函数生成方法，步骤如下：

S1、选择多个不同的基本激活函数；

S2、将步骤S1中选择的多个不同的基本激活函数进行组合作为神经网络模型的激活函数；

S3、神经网络模型的激活函数随着神经网络模型的迭代进行更新。

优选的，所述基本激活函数为Sigmoid函数、Tanh函数、ReLU函数、PReLU函数、PELU函数或RReLU函数。

优选的，所述步骤S1中选择2～6个不同的基本激活函数。

优选的，所述步骤S2中多个不同的基本激活函数通过以下方式进行组合得到神经网络模型的激活函数f(x)：

p_n＝1-(p₁+p₂+,…,+p_n-1)；

其中p₁,p₂,…,p_n是各基本激活函数的组合系数，其预先设置的范围为：0～1；为各基本激活函数，n为组合的基本激活函数的个数。

更进一步的，所述步骤S3中神经网络模型的激活函数随着神经网络的迭代而进行更新的具体过程如下：

S31、首先通过反向传播的算法对当前各基本激活函数i的组合系数p_i′，i＝1,2,…n-1进行参数更新，得到：

其中l为神经网络模型定义的损失函数；p_i′当前各基本激活函数的组合系数，f′(x)为通过当前各基本激活函数的组合系数针对当前各基本激活函数组合得到的神经网络的激活函数；p″_i为更新后的各基本激活函数i的组合系数；其中f′(x)为：

p′_n＝1-(p′₁+p′₂+,…,+p′_n-1)；

S32根据上述更新后的各基本激活函数的组合系数p″_i，i＝1,2,…n-1得到神经网络模型更新后的激活函数f″(x)：

p″_n＝1-(p″₁+p″₂+,…,+p″_n-1)。

优选的，所述步骤S2中多个不同的基本激活函数通过以下方式进行组合得到神经网络模型的激活函数f(x)：