[发明专利]基于表示学习的时间知识图谱推理方法

说明书

一种基于表示学习的时间知识图谱推理方法，包括三个步骤：构建带实体描述的时间知识图谱数据集；构建和训练融合实体描述的时间知识图谱表示学习模型；知识推理应用。本发明提出的方法，在时间知识图谱表示学习模型HyTE的基础上，引入了实体描述，丰富了实体信息，有利于模型对实体表示进行学习；并且本发明提出的基于时间与关系的注意力机制，能够根据四元组中时间与关系的不同，关注到实体描述中的不同的位置，学习最相关的信息。本发明提出的方法在预测任务中有很好的表现，提高了时间知识图谱推理的准确率。

技术领域

本发明涉及知识图谱以及自然语言处理领域。

表示学习与知识推理是知识图谱领域的一个重要分支。

背景技术

知识图谱推理是知识图谱应用中的一项重要任务，与自然语言处理紧密联系。在知识图谱中，知识(或事实)常常被表示为三元组的形式，即(头实体，关系，尾实体)表示头实体与尾实体之间存在关系。知识图谱推理旨在根据已有的知识推导出新的知识，使机器具有和人类一样的推理和决策能力，对问答、推荐等应用有重要作用。而基于表示学习的推理需要先将由文字符号表示的知识，转换为方便机器操作的向量表示，再学习其中的联系进行推理。现有的方法认为若是(头实体，关系，尾实体)这一知识正确，则头实体、关系、尾实体对应的向量表示 h、r、t存在h+r＝t，这也是模型损失函数设计以及判断知识是否正确的依据。

然而，现实中的许多知识是有时间约束的，一些知识只会在某段时间内是正确的。在时间知识图谱上，考虑时间这一维度之后，这项任务变得更具挑战性。受TransH的启发，Dasgupta等人提出了HyTE模型，使用了超平面的技巧，将时间知识图谱看成是由不同时间区间下的静态知识图谱组成，将属于不同时间区间的知识涉及的实体与关系映射到该时间区间的平面上进行学习。但现有的方法大都基于知识图谱的结构信息进行学习，若是实体出现的频率较低，而且与其他实体有相同的关系和邻居时，这些实体便是结构信息相似的实体，不容易被区分。融合结构以外的信息进行学习是解决此类问题的一种有效方法。Xie等人提出了基于卷积神经网络的联合表示模型DKRL，从实体描述构建实体的向量表示。该模型分别使用TransE和卷积神经网络来编码基于结构信息的表示和基于实体描述的表示，并利用两类表示计算损失函数。但该模型的卷积神经网络编码器尚未考虑实体描述中可能存在着实体在不同时间、不同关系下的信息，需要对不同位置的文本加以关注。

发明内容

知识图谱推理是与自然语言处理紧密联系的重要任务之一。知识图谱推理旨在根据已有的知识推导出新的知识，使机器具有和人类一样的推理和决策能力，对问答、推荐等应用有重要作用，而知识图谱表示学习是机器进行推理的基础。而在时间知识图谱上，考虑时间这一维度之后，这项任务变得更具挑战性。而现有的方法大都只利用知识图谱的结构信息进行学习，若是存在结构相似的实体，此类实体将拥有相似的表示，难以被区分。融合实体描述进行学习是解决此类问题的一种有效方法。但目前融合实体描述的方法无法注意到在时间知识图谱中，实体描述可能含有实体在不同时间下的信息，这类信息对不同时间段的表示学习有不同程度的作用。

为了解决此问题，本文提出了基于带注意力机制的卷积神经网络的融合实体描述信息的时间知识图谱表示学习方法。该方法基于时间知识图谱表示学习模型 HyTE编码实体的结构表示，利用带注意力机制的卷积神经网络编码实体的描述文本得到实体基于描述的表示，最后将两种表示进行加权求和，作为实体的最终表示。方法中的注意力机制将根据四元组中的关系与时间这一上下文而关注实体描述中的不同位置的信息，最终提高了预测的准确率。

为了实现上述目的，本发明给出的技术方案为：

一种基于表示学习的时间知识图谱推理方法，其特征在于，包括：

步骤1、构建带实体描述的时间知识图谱数据集；

步骤2、构建和训练融合实体描述的时间知识图谱表示学习模型；

步骤3、知识推理应用。

有益效果