[发明专利]基于改进深度残差网络和注意力机制的实体关系抽取方法

说明书

本发明公开了一种基于改进深度残差网络和关系词注意力机制的实体关系抽取方法，包括如下步骤：通过对远程监督实体关系数据集的处理，将英文转换为词向量；获取关系词，并计算余弦相似度提取句子的关系词权重；分别引入分段和门控机制，形成分段的具有门模块的残差网络，采用分段门控残差网络对特征通道进行分段；在残差网络的后段最大池化层的基础上拼接平均池化层形成双池化层，用于保留句子结构特征；得到模型最终的句子特征；将得到的句子特征进行关系分类，得到输出实体关系。本发明将深度残差网络应用到关系提取的远程监督数据集上，通过加深网络层数，有效提高模型降噪能力，同时，提出了分段门控残差模块，有效提高了深度残差网络的性能。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于改进深度残差网络和关系词注意力机制的实体关系抽取方法。

背景技术

现如今，深度学习模型已被广泛应用于各个领域，而一直困扰着众多国内外学者的便是常用的深度学习方法都需要大量的训练数据集来训练模型，以便达到更好的拟合效果。常规训练数据集的构建需要大量人工标注的工作，这将加大研究成本和时间的支出。此外，某些专业领域(如医药、农业、金融、军事等领域)的数据标注工作还要求标注人员具有一定的专业领域知识，这使得标注工作进展十分困难。因此，自动地生成大量标注数据的方法进入了研究者们的视线。

需要注意的是，现在模型大多只采用了一层卷积层和一层最大池化层这样的浅层卷积神经网络来作为句子的解码器。Huang等人则首先使用了9层的深度残差网络模型在远程监督数据集上做实体关系提取。然而在卷积神经网络中，数据在经过不同的滤波器后会产生不同的特征通道，尤其是在深度残差网络中，由于网络层数的数量相较于普通网络尤为庞大。再者，深度残差网络的特性致使每层网络的结构差异性很小，这就直接导致了特征通道之间的信息存在优劣，一旦网络加深，就意味着冗余的特征通道会越来越多。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于改进深度残差网络和关系词注意力机制的实体关系抽取方法，将深度残差网络应用到关系提取的远程监督数据集上，通过加深网络层数，有效提高模型降噪能力，同时，提出了分段门控残差(P-Gate)模块，有效提高了深度残差网络的性能。

技术方案：为实现上述目的，本发明提供一种基于改进深度残差网络和关系词注意力机制的实体关系抽取方法，包括如下步骤：

S1：数据集处理：

通过对远程监督实体关系数据集的处理，将英文转换为词向量；

S2：自注意力机制：

通过每个包中句子实体对的自注意力机制的输出来获取每句句子中隐藏的关系词，并计算余弦相似度从而提取句子的关系词权重；

S3：分段门控残差网络：

在原有深度残差网络的基础上改进去残差单元，分别引入分段和门控机制，形成分段的具有门模块的残差网络，采用分段门控残差网络对特征通道进行分段；

S4：双池化层：

在残差网络的后段最大池化层的基础上拼接平均池化层形成双池化层，用于保留句子结构特征；

S5：将步骤S2得到的关系词权重与步骤S4得到的句子结构特征进行相乘，得到模型最终的句子特征；

S6：模型预测与输出：

将步骤S5得到的句子特征通过点积融合成传入Softmax层进行关系分类，最终得到结果输出实体关系。

进一步的，所述步骤S1中每个词的向量表示由两部分组成：词向量Vw和位置向量Vp，定义为V，词向量的具体表示方法如下：

V＝V_w+V_p