[发明专利]一种基于注意力机制的知识图谱嵌入方法

说明书

本发明公开一种基于注意力机制的知识图谱嵌入方法，包括以下步骤：(1)输入需要补全的知识图谱数据集，基于注意力机制对知识图谱数据集进行初始化；(2)基于注意力机制对嵌入表示进行更新，得到嵌入表示结果和注意力机制参数；(3)根据嵌入表示结果和注意力机制参数，补全知识图谱数据集。利用本发明能更好的处理以前算法不能很好处理的复杂关系，如一对多，多对一和多对多的关系，得到的实体向量能很好的反应类别信息，并且在关系判断时可以将注意力集中在与关系相关的部分维度上，提高判断的准确性。

技术领域

本发明涉及知识图谱嵌入领域，具体涉及一种基于注意力机制的知识图谱嵌入方法。

背景技术

知识图谱是由实体作为节点和关系作为边构成的有向图。通常，一个知识图谱会编码数百万个实体的结构化信息和数十亿个关系事实。但这样还不够完备，需要对知识图谱进行补全。知识图谱补全的目的就是根据现有的知识图谱中的信息来预测没有边连接的实体之间是否存在关系，即连接预测。

一类知识图谱补全的方法是基于嵌入的，这类方法会将知识图谱中的每个对象编码成一个连续空间中的向量。最近这类方法在知识图谱补全上展现出了强大的效果。因此这种方法变得越来越流行。在这类方法中，基于转化的方法因为简单和有效大受青睐。他们有着目前最好的连接预测表现。在2013年的国际机器学习顶级会议Advances in neuralinformation processing systems中，论文《Translating embeddings for modelingmulti-relational data》，第2787页到第2795页公开了一种叫TransE的基于转化的方法，它受到最近大获成功的词嵌入方法的启发，将实体和关系分别嵌入到向量空间当中。对于一个三元组(h，r，t)，它表示头实体h与尾实体t具有关系r。基于转化的方法的基本思想是这个三元组会诱导一个嵌入的向量空间中的函数关系，例如h+r≈t。

由于TransE模型不能很好的解决一对多、多对一和多对多的关系，研究者们陆续提出了一系列工作来弥补它的缺点，比如TransH，TransR和TranSparse。在2014年的国际人工智能顶级会议Association for the Advancement of Artificial Intelligence中，论文《Knowledge Graph Embedding by Translating on Hyperplanes》，第1112页到第1119页公开了一种叫TransH的知识图谱嵌入方法。它通过引入关系相关的投影向量和并将实体投影到关系相关的超平面上来解决问题。然而不同的关系可能只关注实体的部分属性，在2015年的国际人工智能顶级会议Association for the Advancement of ArtificialIntelligence中，论文《Learning entity and relation embeddings for knowledgegraph completion》，第2181页到第2187页公开了一种叫TransR的知识图谱嵌入方法，它通过引入关系相关的变换矩阵并将实体向量转换到不同的关系空间来解决问题。除此之外，关系还具有异质性，在2015年的国际人工智能顶级会议Association for theAdvancement of Artificial Intelligence中，论文《Knowledge graph completion withadaptive sparse transfer matrix》，第985页到第991页公开了一种叫TranSparse的知识图谱嵌入方法，它通过引入更加复杂的关系相关的变换矩阵来解决这个问题。