[发明专利]一种基于知识图谱嵌入的多三元组联合抽取方法

权利要求书

1.一种基于知识图谱嵌入的多三元组联合抽取方法，其特征在于，包括：

(1)获取文本语句，对文本语句进行处理，得到处理后的文本语句矩阵；

(2)将处理后的文本语句矩阵输入到Transformer模型中提取文本语句的语义信息，得到文本语句的语义特征向量；

(3)利用步骤(2)得到的语义特征向量对Transformer模型进行训练，得到训练后的Transformer模型；

所述的训练过程包括：

(3.1)将步骤(2)中得到的文本语句的语义特征向量，得到文本语句的实体标注预测矩阵，将实体标注预测矩阵中的实体标注预测值与真实标注结果对比后，求得实体识别交叉熵损失loss₁，其中，loss₁的计算公式为式(1)所示：

其中，C为标注的总类别数；p_i为真实结果；q_i为实体标注预测矩阵E中具体的一个实体预测值；

(3.2)将步骤(2)中得到的文本语句的语义特征向量用于关系分类任务，得到语句实体词关系分类矩阵，将语句实体词关系分类矩阵中实体词关系与真实关系对比，求取关系分类的实体识别交叉熵损失loss₂，包括：关系分类任务包括：

(3.2.1)将文本语句的语义特征向量经过全连接层及挤压函数变换后，得到关系向量；所述的关系向量的计算公式为式(2)所示：

r_c＝squash(h_nW^R) (2)

其中，r_c为关系向量；W^R∈R^V×C，W^R为训练过程中的参数；C为关系种类数；squash为挤压变换函数；

(3.2.2)利用关系向量求出关系向量中每种关系的概率，利用每种关系的概率计算交叉熵损失loss₂；

所述的每种关系的概率的计算公式为式(3)所示：

p_i＝sigmoid(‖r_C‖₂) (3)

其中，p_i为关系向量中每种关系的概率；

所述的交叉熵损失loss₂的计算公式为式(4)所示：

其中，C为关系的总类别数；y_i为真实结果；p_i为关系向量中每种关系的概率；

(3.3)利用文本语句的实体标注预测矩阵和文本语句的语句实体词关系分类矩阵构造实体词关系，利用知识嵌入约束方法，求得关系矩阵，将关系矩阵中真实存在的关系与不存在的关系对比，求取关系的交叉熵损失loss₃，其中，交叉熵损失loss₃的计算公式为式(5)所示：

其中，(h,r,t)为存在关系r的正样本；(h′,r′,t′)为不存在关系r′的负样本；γ为正样本和负样本之间的最小分隔，为超参数，设置为γ＝1；采用知识嵌入约束计算方法，计算知识图谱嵌入下f_r(h,t)评分函数；

(3.4)基于梯度下降的优化算法，利用loss₁、loss₂和loss₃计算最小化总的损失函数loss，迭代求解直至损失值收敛，得到训练后的Transformer模型；

(4)利用待预测文本语句输入步骤(3)中训练后的Transformer模型，得到预测文本语句的预测语义特征向量，完成多个三元组联合抽取方法。