[发明专利]一种基于神经网络的自然语言关系抽取方法

摘要

本发明公开了一种基于神经网络的自然语言关系抽取方法，该方法采用句子的不同方面的自注意力信息注入到卷积神经网络中进行空间级表示融合，利用这种融合了句子实体的多方向信息的表示，能够进行更准确的实体间的关系预测。本发明与现有技术相比具有多方面、多角度进行挖掘句子及句子中实体间关系的特点，将这种多方面、多角度的表示进行融合，从而进行更准确的关系抽取，能够更加全面有效地对句子中实体间关系进行预测，方法简便、高效，成本低廉，并且能够在不同数据领域之间进行迁移，具有广泛的实用意义，能够为知识图谱系统、关系预测系统等应用提供有效的解决方案。

主权项

1.一种基于神经网络的自然语言关系抽取方法，其特征在于，该方法包括以下具体步骤：步骤1：句子及实体的向量表示对每个句子及其包含的一对实体，采用神经网络构建所述一对实体的句子向量表示，定义长度为n的句子的向量表示为：其中，是连接操作并且v代表句子的向量表示，d为向量的维度；步骤2：句子不同方面的自注意力表示采用句子注意力机制，将不同的自注意力信息注入到神经网络中，进行句子不同方面的自注意力表示；其中，自注意力信息计算输出的权重矩阵的公式为：其中，Q,K,V为当前token的向量表示，d为当前向量的维度大小，上式中Q＝K＝V＝v；步骤3：卷积网络进行表示融合使用卷积神经网络对句子不同方面的自注意力表示进行空间级的融合，得到基于多方面句子注意力表示融合后的信息并进行池化；其中，融合方式如下：c_i＝f(w·h_(i:i+n‑1+b),式中，是一个偏置量，是一个非线性函数，h为滑动窗口，i为当前位置下标，w为参数矩阵；池化表示如下：式中，c为得到的融合特征，为最后所得特征值；步骤4：实体关系预测将池化结果输入到全连接神经网络(Fully connected network)中，对两个实体在句子中的关系进行预测，最终得到所述关系的概率分布；具体如下：dropout：original：y＝w·z+b其中，是逐元素相乘的操作，r是符合伯努利分布遮蔽向量，并且