[发明专利]基于协同关系的知识图谱上下文嵌入方法

说明书

本发明涉及一种基于协同关系的知识图谱上下文嵌入方法，属于自然语言处理技术领域。本发明通过挖掘实体间的协同关系，将显性关系和隐性关系结合起来。在每个单独的三元组中，显式关系表示头实体和尾实体之间的已知关系，而隐式关系表示在KG中没有给出的两个实体之间的隐式交互。更具体地说，CKGE扩展了现有的KGE模型，探索了隐含实体交互中包含的潜在关系。通过传递实体的邻域信息来计算潜在关系的表示。潜在关系的包含导致学习关系表示在不同的实体上下文中变化，甚至当图包含循环关系时也是如此。这个方法的提出能够改善关系和实体的表示性能。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于协同关系的知识图谱上下文嵌入方法。

背景技术

知识图谱(knowledge,graphs,KG)的研究在学术界和产业界都受到越来越多的关注。一般来说，知识图谱是由表示现实世界中的事实的大量三元组构建而成，每个三元组都是由关系r，头实体h和尾实体t来构成。目前存在的一些典型的知识图谱有：WordNet,YAGO,NELL和DBpedia。然而，尽管这些图谱中包含了上亿级别的三元组，但是仍然存在不完备的问题。为了更好的研究知识图谱的问题，提出了知识图谱嵌入(knowledgegraphembedding,KGE)。这种基于KGE的方式已经被证明可以有效地用于许多任务，比如问答系统，推荐系统和关系抽取等。KGE的核心思想是将实体和关系映射到一个稠密的向量空间，然后利用一个打分函数来计算给定三元组的合理性。

现有的KGE模型倾向于集中于两个实体之间的直接关系，模型的思路是通过评分功能来测量给定三元组的合理性。现有的KGE模型大致可以分为平移距离模型和语义匹配模型。

平移距离模型一般根据实体和关系的表示来定义基于距离的函数。如TransE是平移距离模型的代表之一，该模型假设关系是一个平移向量，将矢量空间中每一个真正的三元组的嵌入的头实体和尾实体连接起来。TransH将每个关系与关系特定的超平面关联，并在该超平面上投射实体向量。为了学习不同关系下每个实体的不同表示，TransR/CTransR将实体和关系嵌入到单独的实体和关系空间中。在TransD中，使用两个动态矩阵来解决关系的多个语义表示问题。TransG使用贝叶斯非参数混合模型为每个关系生成多个表示。TranSparse是TransR的一个扩展，它使用自适应稀疏矩阵来处理异构和不平衡的问题。最近的工作TorusE将实体和关系嵌入到一个紧李群上，以解决TransE的正则化问题。

语义匹配模型通常基于实体和关系的表示来定义基于相似性的函数。RESCAL将知识图谱表示为一个多热张量，并将每个关系视为一个方阵。DistMult和HolE被认为是简化的RESCAL。ComplEx是DistMult在复向量空间中的扩展。SimplE解决了两个嵌入实体之间的独立性。CrossE通过交互矩阵对实体和关系的交叉交互进行建模。RotatE将每个关系定义为在复杂向量空间中从头部实体到尾部实体的旋转。此外，一些语义匹配模型通过神经网络结构来度量事实的可信性。神经张量网络(NTN)用双线性张量层代替了传统的神经网络层。语义匹配能量(SME)的设计目的是将多关系图嵌入到灵活的连续向量空间中。ConvE在嵌入式上使用2D卷积构建多层卷积神经网络。

已有的KGE模型倾向于关注两个实体之间的显式关系，在某些场景下，即使头实体和尾实体的上下文发生了明显的变化，它们之间的关系仍然未发生变化。此问题降低了关系的准确性，也影响了实体的表示，进一步损害了下游任务的性能。

另外，已有的KGE模型也不能处理循环关系的问题。在循环关系的情况下，实体通过同一关系从头到尾通过一个圆连接在一起，图1展示了TransE假设下的循环关系。e₁的表示与计算e₃+r＝e₁的表示不一致。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何通过整合实体之间的潜在关系，很好地缓解循环关系问题。