[发明专利]一种基于双向LSTM深度神经网络的知识图谱生成方法

权利要求书

1.一种基于双向LSTM深度神经网络的知识图谱生成方法，其特征在于，所述基于双向LSTM深度神经网络的知识图谱生成方法，包括：

获取待处理的源实体与目标实体，各实体由词向量表示；

将源实体和目标实体分别输入至预先建立的知识库中，得到源实体和目标实体分别对应的属性矩阵；

将源实体和目标实体对应的属性矩阵分别输入至多层感知机中，将多层感知机输出的特征与对应实体的词向量组成属性联合表达；

将源实体和目标实体两者的属性联合表达进行合并，以合并后的特征矩阵作为双向LSTM深度神经网络的输入，得到双向LSTM深度神经网络输出的隐藏层向量；

将隐藏层向量作为分类器的输入，输出在关系词典内对应关系的预测概率分布，取预测概率最大的关系作为源实体与目标实体的实体关系，完成知识图谱的生成；

其中将源实体和目标实体对应的属性矩阵分别输入至多层感知机中，将多层感知机输出的特征与对应实体的词向量组成属性联合表达，包括：

对属性矩阵进行编码操作，取多层感知机的最后层输出M_a，M_a＝{m_a，1，m_a，2，...，m_a，l}；

将M_a与实体e的词向量组成属性联合表达，属性联合表达可表示为：

其中，为实体的属性联合表达，e为实体，即源实体e_s或目标实体e_t，m_a，1，m_a，2，...，m_a，l为多层感知机输出的特征，l为多层感知机的输出神经元个数。

2.如权利要求1所述的基于双向LSTM深度神经网络的知识图谱生成方法，其特征在于，所述属性矩阵可表示为：

其中，为实体的属性矩阵，k为实体在知识库中的属性数量，且第i条属性的句向量表达为a_i∈R^A，R^A为句向量空间；

若在知识库中无法检索到实体的相关属性，即k＝0，则用实体的词向量的填充表示属性矩阵

3.如权利要求2所述的基于双向LSTM深度神经网络的知识图谱生成方法，其特征在于，所述将源实体和目标实体两者的属性联合表达进行合并，以合并后的特征矩阵作为双向LSTM深度神经网络的输入，得到双向LSTM深度神经网络输出的隐藏层向量，包括：

将源实体和目标实体两者的属性联合表达进行反向合并，得到合并后的特征矩阵如下：

c＝{(e_s，m_ta，l)，(m_sa，1，m_ta，l-1)，...，(m_sa，l，e_t)}

其中，c为合并后的特征矩阵，e_s为源实体，e_t为目标实体，m_ta，l为目标实体对应的属性矩阵输入多层感知机中得到的第l个特征，m_sa，l为源实体对应的属性矩阵输入多层感知机中得到的第l个特征；

以合并后的特征矩阵作为双向LSTM深度神经网络的输入，则双向LSTM深度神经网络的表达式如下：

其中，与分别为前向和后向LSTM深度神经网络的初始状态，与分别为前向和后向LSTM深度神经网络第q个隐藏层状态，LSTM()表示LSTM深度神经网络的计算单元，m_sa，l是源实体经由多层感知机输出的第l个特征，m_ta，l是目标实体经由多层感知机输出的第l个特征；

双向LSTM深度神经网络每步输出一个隐藏状态，最后一个隐藏层的输出为取输出h作为隐藏层向量。

4.如权利要求3所述的基于双向LSTM深度神经网络的知识图谱生成方法，其特征在于，所述分类器包括一个全连接层与一个softmax层，输入分类器的隐藏层向量通过全连接层与softmax层后输出在关系词典内对应关系的预测概率分布，即

p＝softmax(fc(h))

其中，p为预测概率分布，h为隐藏层向量。

5.如权利要求4所述的基于双向LSTM深度神经网络的知识图谱生成方法，其特征在于，所述双向LSTM深度神经网络使用交叉熵损失函数来优化双向LSTM深度神经网络参数，所述交叉熵损失函数的表达式如下：

其中，N为训练样本的数量，p为预测概率分布，当预测概率准确时取1，当预测概率不准确时取0，Θ为双向LSTM深度神经网络的所有可训练参数。