[发明专利]一种基于循环神经网络的激活函数参数化改进方法

权利要求书

1.一种基于循环神经网络的激活函数参数化改进方法，其特征在于：包括步骤：

步骤一，以长短期记忆网络LSTM为基础，构建双向长短期记忆网络Bi-LSTM；

步骤二，将Bi-LSTM网络中各个隐藏层串联，在Bi-LSTM网络中最后一层隐藏层之后加入平均池化层，在平均池化层之后连接一个归一指数化函数层，建立密集连接的双向长短期记忆网络DC-Bi-LSTM；

步骤三，运用参数化Sigmoid激活函数，在数据集上进行训练，记录密集连接的双向长短期记忆网络对句子分类的精确度，得到最佳精确度对应的参数化激活函数。

2.根据权利要求1所述的一种基于循环神经网络的激活函数参数化改进方法，其特征是：所述双向长短期记忆网络Bi-LSTM用如下公式表示：

l表示网络层数，t表示时刻；

表示第l层LSTM在当前时刻t对数据集中的文本序列进行顺序排序处理得到的隐藏层状态；

表示第l层LSTM在当前时刻t对数据集中的文本序列进行逆序排序处理得到的隐藏层状态；

表示第l层隐藏层在当前时刻t对数据集中的文本序列同时进行顺序和逆序两个方向的处理后得到的隐藏层输出；

表示t时刻第l层隐藏层输出；表示t时刻的原始输入文本序列；

e()表示文本序列中词向量的词嵌入格式；w_t表示t时刻输入的词向量；

lstm(·)代表经过LSTM网络处理。

3.根据权利要求1所述的一种基于循环神经网络的激活函数参数化改进方法，其特征是：所述步骤二中将Bi-LSTM网络中各个隐藏层串联，具体为：Bi-LSTM网络第一层的输入是数据集中的词向量序列，当前层的输入为前一层的输入与前一层的输出的串联序列。

4.根据权利要求1所述的一种基于循环神经网络的激活函数参数化改进方法，其特征是：所述归一指数化函数层为soft-max层。

5.根据权利要求1所述的一种基于循环神经网络的激活函数参数化改进方法，其特征是：所述参数化sigmoid激活函数为：

其中，σ(·)为改进的参数化S型激活函数，A,B为参数；x表示神经网络的输入。

6.根据权利要求5所述的一种基于循环神经网络的激活函数参数化改进方法，其特征是：所述数据集为情感分析主观性数据集subj时，句子分类最佳精确度对应的参数化sigmoid函数的参数为：A＝-0.5，B＝0。