[发明专利]一种基于双向注意力机制的知识图谱补全方法

说明书

本发明公开一种基于双向注意力机制的知识图谱补全方法，通过在注意力机制的技术之上，引入了双向注意力机制来学习实体间的双向语义关系，并通过双向注意力值对初始化的实体嵌入矩阵和关系嵌入矩阵进行更新。在对新冠开放知识图谱补全中，能学习到实体间的双向语义关系，对实体所聚合的邻居实体的信息更加完善。经过多次训练，实现更加准确的实体嵌入和关系嵌入，能够提高新冠开放知识图谱补全的准确率。

技术领域

本发明涉及知识图谱技术领域，具体涉及一种基于双向注意力机制的知识图谱补全方法。

背景技术

知识图谱(Knowledge Graph,KG)的概念是谷歌于2012年5月17日提出的，它是一种结构化的知识库。其本质是带标签的有向图，图中的每个节点表示实体，而每条边则表示关系，用标准三元组(s,r,o)表示，s、o分别为头实体和尾实体，r为s和o之间的关系。尽管知识图谱有数以百万的关系和实体，但有研究表示，Freebase中有75％的人物没有国籍信息，与此同时，正在构建的新冠开放知识图谱也存在缺失信息的问题，如图1中，实体“MERS病毒”缺失与实体“蝙蝠”之间的关系“寄生”。因此，为了使新冠开放知识图谱更具完备性和准确性，必须不断地对其进行扩充和完善。知识图谱补全的主要任务是进行链接预测，即通过知识图谱现有的信息来预测没有关系的实体之间是否存在隐藏的关系。

Mikolov等人于2013年提出了Word2vec的表示学习模型，发现词向量空间存在平移不变现象，即C(king)-C(queen)≈C(man)-C(woman)，可以学习到单词king和queen之间、man和woman之间的某种相同的隐含语义关系。受到该启发，Bords提出了TransE模型，其将知识图谱的实体和关系嵌入到连续的向量空间内，对于每个三元组(s,r,o)，把关系r的向量l_r作为头实体嵌入向量l_s和尾实体嵌入向量l_o之间的平移，提出了l_s+l_r≈l_o的函数关系。在TransE模型之后又有许多研究者陆续提出了TransH、TransR、TransD、TranSparse等模型，来弥补TransE模型在一对多、多对一、多对多关系上的不足。

随着神经网络的发展，2018年Dettmers提出了ConvE模型，使用了二维卷积核来学习实体和关系间的信息，随后通过全连接层和非线性操作得到预测结果。之后，Nguyen提出了ConvKB模型，其通过卷积神经网络学习整个三元组的信息来进行链接预测任务。在2019年Association for Computational Linguistics国际会议中，论文《LearningAttention-based Embeddings for Relation Prediction in Knowledge Graphs》提出了一种基于注意力机制的知识图谱嵌入方法，通过学习一个节点中不同邻居节点的注意力值来表示节点，通过神经网络进行训练，获得最终的知识图谱嵌入表示，从而进行知识图谱补全。

尽管与TransE、TransH、TransR、ConvKB、ConvE模型相比，《Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs》开始提取图的结构信息进行训练，获得具有图结构的知识图谱嵌入向量，但是其仅学习头实体和尾实体的单向关系，而忽略了尾实体到实体间的逆向关系，导致丢失实体间的逆向语义信息，从而导致补全的准确率下降。然而，聚合实体间的双向语义信息，对于提升实体的嵌入质量又是非常重要的，如在图2中，对于实体“COVID-19”聚合了所有邻居实体的语义信息。

发明内容

本发明所要解决的是现有知识图谱嵌入模型无法提取头实体和尾实体之间双向语义关系的问题，提供一种基于双向注意力机制的知识图谱补全方法，通过双向注意力机制来获取实体间的双向注意力值，学习到更加完整的嵌入表示，从而提高对于新冠开放知识图谱补全的准确度。

为解决上述问题，本发明是通过以下技术方案实现的：