[发明专利]一种基于GRU的递归神经网络多标签学习方法

说明书

本发明提供一种基于GRU的递归神经网络多标签学习方法，所述方法包括以下步骤：步骤S1：初始化系统参数θ＝(W,U,B)；步骤S2：输入样例计算各时刻RNN输出隐状态h_T，其中，样例y_i是样例x_i的多标签向量，步骤S3：计算上下文向量h_T以及输出层输出z_i；步骤S4：计算预测输出计算损失L_i，确定目标函数J；步骤S5：根据梯度下降法和BPTT算法求解θ＝(W,U,B)的梯度；步骤S6：确定学习率η，更新各权值梯度W＝W‑η·δ_W；步骤S7：判断神经网络是否达到稳定，如果是执行步骤S8；如果否，返回步骤S2，迭代更新模型参数；步骤S8：输出优化模型。本发明能充分利RNN获取样例的有效特征表示，提高多标签分类的准确率，并且反向传播时不容易出现梯度消失问题。

技术领域

本发明涉及递归神经网络多标签学习领域，尤其涉及一种基于GRU的递归神经网络多标签学习方法。

背景技术

在机器学习领域，多标签分类在分类问题中有着重要的地位。传统的标签分类问题是从标签集合中学习样例的单个标签，这样的问题被称为二分类问题(或者文本和网络数据过滤问题)。多标签分类问题中每个样例有一组相关的标签。在解决多标签分类问题上，近年来出现了很多方法，方法基本上分为两种，一种是将问题转化为传统的单标签分类。这种方法通过多个二元分类器分别学习标签集合中的每个标签。二是调整现有的算法来适应多标签的分类。

对于序列数据的建模，基于神经网络(Neural Network)的模型已经在广播演讲识别、语言模型以及录像分类问题上取得了优异的成绩。这些模型大部分属于两类神经网络，前馈神经网络(Feedforward Neural Network)和递归神经网络(Recurrent NeuralNetwork)。递归结构的神经网络能循序渐进的表示时刻信息。递归神经网络(RecurrentNeural Network，RNN)的递归特性表现在它的某一时刻隐藏层状态依赖于前一时刻的输出状态。这种循环使模型能够存储任意时间长度的复杂信息，隐藏层状态可看作是模型的记忆单元，其结构以及展开如图1所示。

传统RNN递归隐藏层网络模块的形式比较单一，如图2所示。理论上，RNN可以学习无限长的序列信息。但是，实践证明，时间间隔越大RNN的这种学习能力就会越弱。并且这种循环结构很难训练，因为它很容易出现梯度消失和梯度爆炸。Mikolov通过梯度裁剪方法防止梯度爆炸，这种方法简单可行。这就允许这些模型可以在大的数据集上使用梯度下降法和BPTT(Back-propagation Through Time)算法训练。由于在沿时间反向传播时，它们的梯度可能呈指数衰减，因此递归神经网络依旧有梯度消失的问题。这使RNN只能处理短距离信息而忽略长时间的关联信息。

为了解决梯度消失问题，许多结构已经被提出来。其中包括长短时记忆单元(LSTM)递归神经网络。它在手写体识别以及音素分类问题上表现出色。LSTM拥有一个精密设计的结构，这种结构包含许多门。这些门控制着流向隐状态的信息的数量。这使得神经网络能记住长时间的信息。但是LSTM网络结构较复杂，这将会耗费更多的训练时间，而且容易在反向传播过程中出现梯度消失。为了解决这一问题，一种具有更简单结构的GRU结构被提出，这种结构相比LSTM更容易实现，训练也更简单。它的结构如图3所示。

现有的神经网络多标签分类不能够有效的学习样例的基本特征，实现结构复杂，并且反向传播时容易出现梯度消失问题。基于此，本发明提供一种基于GRU的递归神经网络多标签学习方法，该方法能充分利RNN获取样例的有效特征表示，提高多标签分类的准确率。GRU结构能有效地进行长时间记忆，它相比于LSTM结构更简单，并且反向传播时不容易出现梯度消失问题。

发明内容