[发明专利]基于改进深度残差网络和注意力机制的实体关系抽取方法

权利要求书

1.基于改进深度残差网络和注意力机制的实体关系抽取方法，其特征在于：包括如下步骤：

步骤S1：数据集处理：

通过对远程监督实体关系数据集的处理，将英文转换为词向量；

步骤S2：自注意力机制：

通过每个包中句子实体对的自注意力机制的输出来获取每句句子中隐藏的关系词，并计算余弦相似度从而提取句子的关系词权重；

步骤S3：分段门控残差网络：

在原有深度残差网络的基础上改进去残差单元，分别引入分段和门控机制，形成分段的具有门模块的残差网络，采用分段门控残差网络对特征通道进行分段；

步骤S4：双池化层：

在残差网络的后段最大池化层的基础上拼接平均池化层形成双池化层，用于保留句子结构特征；

步骤S5：将步骤S2得到的关系词权重与步骤S4得到的句子结构特征进行相乘，得到模型最终的句子特征；

步骤S6：模型预测与输出：

将步骤S5得到的句子特征通过点积融合成传入Softmax层进行关系分类，最终得到结果输出实体关系；

所述步骤S3具体为：

S3-1：分段门控残差模块通过实体对特征通道进行分段，第z个通道的公式为：

其中，u_c为来自上层网络通过卷积后的特征通道，在空间维度H上，通过压缩u来产生输出属于u_c的统计量z_c；

S3-2：将通道通过每句句子中实体的位置进行分段，形成3段特征通道：

z_c-→(e₁,e₂)-→(z₁,z₂,z₃)

其中，e₁,e₂为两个实体；

S3-3：当特征通道压缩之后，分段门控残差模块采用门控机制，使用Sigmoid激活函数对z_c产生权重，其中W₁，W₂为两个权重矩阵，如下式所示：

s＝σ(W₂δ(W₁z))

S3-4：分段门控残差模块的最终输出是将权重s_c与上层卷积后的特征通道(z₁，z₂，z₃)相乘后得到的，具体如下式所示：

x_c＝F_s((z₁,z₂,z₃),(s₁,s₂,s₃))＝s_c·z_c。

2.根据权利要求1所述的基于改进深度残差网络和注意力机制的实体关系抽取方法，其特征在于：所述步骤S1中每个词的向量表示由两部分组成：词向量V_w和位置向量V_p，定义为V，词向量的具体表示方法如下：

V＝V_w+V_p

S_i＝{V₁,V₂,…,V_n}

其中V_w为带有语义关联的词向量，V_p为带有位置信息的词向量，V为拼接后的词向量，S_i是句子组成的集合。