[发明专利]一种基于GRU的递归神经网络多标签学习方法

权利要求书

1.一种基于GRU的递归神经网络多标签学习方法，其特征在于，所述方法包括以下步骤：

步骤S1：初始化系统参数θ＝(W,U,B)，其中，W表示神经网络层与层之间连接的权值矩阵；U表示数据在输入神经网络时的权值矩阵；B表示神经网络层与层之间的偏置矩阵；

步骤S2：输入样例计算各时刻RNN输出隐状态h_t，其中，样例y_i是样例x_i的多标签向量，

步骤S3：计算上下文向量h_T以及输出层输出z_i；

步骤S4：计算预测输出计算损失L_i，确定目标函数J

步骤S5：根据梯度下降法和BPTT算法求解θ＝(W,U,B)的梯度；

步骤S6：确定学习率η，更新各权值梯度W＝W-η·δ_W，其中，δ_W表示在神经网络反向传播时，通过梯度下降法得到的权值矩阵的偏导数；

步骤S7：判断神经网络是否达到稳定，如果是执行步骤S8；如果否，返回步骤S2，迭代更新模型参数；

步骤S8：输出优化模型。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括：把样例x_i做标准化处理，使其值处于[0，1]，然后将中的作为RNN在t时刻的输入值输入到隐藏层，得到隐状态h_t。

3.根据权利要求2所述的方法，其特征在于，所述步骤S3进一步包括：将中的每个分量作为RNN在T个时刻的T个输入值输入到隐藏层，得到一个上下文向量h_T，其中，上述公式中，符号表示矩阵之间的点乘运算。

4.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括：利用上下文向量h_T计算样例x_i的多标签向量其中，第i个样例标签对的联合概率为：

L_i为：

确定的目标函数J为：

其中表示假设输出层的第j个神经元的输出为j＝1,…,C，softmax层输出为真实输出为k＝1,…,C，的值为0或1，λ表示尺度系数。

5.根据权利要求1所述的方法，其特征在于，所述步骤S6进一步包括，通过以下方法确定学习率：η＝Ae^-λn,其中n为网络训练过程中的迭代次数,1≤A≤50，0.0001≤λ≤0.001；或者，η(k)＝e^-λ(k-1),其中，0.0001≤λ≤0.001，k为迭代次数。

6.根据权利要求1所述的方法，其特征在于，所述步骤S8进一步包括：当确定的目标函数J最小化时，输出最优模型。