[发明专利]基于注意力机制的时序知识图谱推理方法、装置和设备

说明书

本申请涉及一种基于注意力机制的时序知识图谱推理方法、装置、计算机设备和存储介质。所述方法包括：通过构建时序知识图谱中每个时间段的知识图谱快照，得到每个时间段内每个实体的邻域信息；通过邻域聚合器对多个实体的全部关系对应的邻域信息进行聚合，得到每个实体的邻域特征表示；通过基于注意力机制的时序事件编码器根据目标实体在当前时刻的邻域特征表示和历史时刻的邻域特征表示确定包含多头信息的注意力权重矩阵，进而有选择地关注历史信息的时间实体表示序列，得到目标实体在当前时刻由时序事件编码器更新后的隐向量表示；通过前馈神经网络和多分类层网络根据隐向量表示对时序事件编码器进行编码打分，实现时序知识图谱推理。

技术领域

本申请涉及知识图谱技术领域，特别是涉及一种基于注意力机制的时序知识图谱推理方法、装置、计算机设备和存储介质。

背景技术

近年来，知识图谱(Knowledge Graph，KG)作为结构化的语义知识库，用符号形式化的方式描述物理世界中概念及其相互关系，成为学界和业界的研究热点。然后，随着时间的推移，新的知识可能来源于各种新闻媒体以及社交软件中快速产生且不断演化的数据，需要将其不断的添加到KG当中，进而反映随时间推移知识库的演化发展。因此，如何记录随时间变化的事实以及研究其变化的趋势，具有重要意义。上述背景下的数据驱动的时序KG的知识推理，可以更具现有的KG和实时掌握知识变化的趋势。现有的模型的推理大体都是根据需推断的时间之前的真实事实进行推理的，例如最新的外推时序推理的模型Know-Evolve，和其扩展模型DyRep。这些方法可以持续推理未来事件图的事实，然而，却无法模拟循环事件的发生以及关键事实对未来事件的影响推断。Jin提出循环事件网络(RecurrentEvent Network,RE-NET)，能较好地解决现有动态图谱模型难以对多个时间点上高并发事件进行推理的问题，并对动态图谱在全时间域内的时间相关性进行建模，但是在历史推理依赖RNN及其变体LSTM及其变体来模拟历史演变规律，并依赖于多关系邻域聚合并发事件的实体表示。然而，尽管可以很好的解释历史发展变化的规律，但是这些方法不能正确的根据具体的预测问题解释与之相关的推理历史依据，而且缺乏面临长历史依赖时历史推理能力变差的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升时序知识图谱推理效果的基于注意力机制的时序知识图谱推理方法、装置、计算机设备和存储介质。

一种基于注意力机制的时序知识图谱推理方法，所述方法包括：

获取待推理的时序知识图谱，根据所述时序知识图谱中知识的时间标注，构建每个时间段的知识图谱快照，并进一步得到每个时间段内每个实体的邻域信息；

通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示；

将所述时序知识图谱中各个时间段各个实体的邻域特征表示输入基于注意力机制的时序事件编码器中；所述基于注意力机制的时序事件编码器根据目标实体在当前时刻的邻域特征表示和历史时刻的邻域特征表示确定包含多头信息的注意力权重矩阵，通过所述注意力权重矩阵有选择地关注历史信息的时间实体表示序列，得到所述目标实体在当前时刻由时序事件编码器更新后的隐向量表示；

通过前馈神经网络和多分类层网络根据所述隐向量表示对所述时序事件编码器进行编码打分，实现时序知识图谱推理。

在其中一个实施例中，还包括：通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示；所述邻域聚合器为多关系邻域聚合器、注意力聚合器或平均池化聚合器；

所述多关系邻域聚合器的模型结构为：