[发明专利]一种基于循环神经网络的激活函数参数化改进方法

说明书

本发明公开了一种基于循环神经网络的激活函数参数化改进方法，包括步骤：步骤一，以长短期记忆网络为基础，构建双向长短期记忆网络Bi‑LSTM；步骤二，将Bi‑LSTM网络中各个隐藏层串联，在网络中最后一层隐藏层之后加入平均池化层，在平均池化层之后连接一个归一指数化函数层，建立密集连接的双向长短期记忆网络DC‑Bi‑LSTM；步骤三，运用参数化Sigmoid激活函数，在数据集上进行训练，记录密集连接的双向长短期记忆网络对句子分类的精确度，得到最佳精确度对应的参数化激活函数。本发明通过参数化激活函数模块，使得S型激活函数的非饱和区域得到扩展，同时避免函数的导数过小，防止梯度消失现象的发生。

技术领域

本发明涉及自然语言处理以及文本分类技术领域，具体涉及一种基于循环神经网络的激活函数参数化改进方法。

背景技术

深层神经网络广泛应用于计算机视觉之中，然而，堆叠式的循环神经网络存在梯度消失和过度拟合问题。因此，在此基础上，出现一些新型的循环神经网络，基于密集连接的双向长短期记忆网络便是一种十分有效的循环神经网络。

激活函数模块是神经网络的一个基本模块。一般情况下，激活函数具有以下一些性质：

(1)非线性：几乎所有的函数在激活函数是非线性的条件下都可以被一个两层的神经网络所表达；

(2)可微性：优化方法是基于梯度时必须具备可微性；

(3)单调性：当激活函数是单调的时候，单层网络能够保证是凸函数。

基于密集连接的双向长短期记忆网络(DC(密集连接)-Bi(双向)-LSTM(长短期记忆网络)，即双向长短时记忆循环神经网络)中的S(Sigmoid)型激活函数，其输出范围有限，不会在训练中出现梯度爆炸的现象；并且S型激活函数求导简单，大大减小了算法复杂度。但是与此同时，由于S型激活函数的双向饱和特性，容易导致梯度消失，无法有效修正权值，且在进行反向误差传播时易使激活函数落入饱和区，造成梯度消失，加大了循环神经网络的训练难度。因此，调节参数来扩大非饱和区域，但同时考虑到非饱和区域扩展的同时，该区域的导数值下降，影响收敛速度，因此需要设置合理参数来控制S型激活函数的非饱和区域的大小以及原点处的导数值。

发明内容

为解决现有技术中的不足，本发明提供一种基于循环神经网络的激活函数参数化改进方法，解决了S型激活函数的双向饱和特性，容易导致梯度消失，无法有效修正权值，且在进行反向误差传播时易使激活函数落入饱和区，造成梯度消失，加大了循环神经网络的训练难度的问题。

为了实现上述目标，本发明采用如下技术方案：一种基于循环神经网络的激活函数参数化改进方法，其特征在于：包括步骤：

步骤一，以长短期记忆网络LSTM为基础，构建双向长短期记忆网络Bi-LSTM；

步骤二，将Bi-LSTM网络中各个隐藏层串联，在Bi-LSTM网络中最后一层隐藏层之后加入平均池化层，在平均池化层之后连接一个归一指数化函数层，建立密集连接的双向长短期记忆网络DC-Bi-LSTM；

步骤三，运用参数化Sigmoid激活函数，在数据集上进行训练，记录密集连接的双向长短期记忆网络对句子分类的精确度，得到最佳精确度对应的参数化激活函数。

前述的一种基于循环神经网络的激活函数参数化改进方法，其特征是：所述双向长短期记忆网络Bi-LSTM用如下公式表示：

l表示网络层数，t表示时刻；

表示第l层LSTM在当前时刻t对数据集中的文本序列进行顺序排序处理得到的隐藏层状态；