[发明专利]一种基于链路预测实现跨语言知识空间实体对齐方法及系统

说明书

本发明涉及一种基于链路预测实现跨语言知识空间实体对齐方法和系统，其通过跨语言知识空间三元组融合、知识空间表示学习、预测新对齐实体对、自学习添加新的训练数据四个步骤生成经过预测的实体对，针对少量的训练语料，设计简单基于链路预测的方法预测新的实体对，进行跨语言知识空间融合，在此基础上提高两个知识空间中数据融合中，判断跨语言知识空间的实体对是否是同一个实体的效率，方法模型的设计较为轻便，且其节约了标注的人力。

技术领域

本发明涉及人工智能、机器学习领域，尤其涉及一种基于链路预测实现跨语言知识空间实体对齐方法。

背景技术

随着现代互联网技术的发展，互联网上的信息积累越来越多，用户在检索信息时，咨询电商时，不仅仅满足于传统的简单的关键词检索匹配的结果，追求更加智能化个性化的搜索和问答服务。目前，大批国内外的互联网企业，例如谷歌、亚马逊、百度、腾讯都建立了自己的知识空间系统，利用知识空间技术为客户提供更加智能化的服务，知识空间技术可以结合现实中的相关知识，不论在信息检索领域，还是智能问答领域，都能根据知识空间的知识，理解用户的语句的隐藏语义信息，为用户提供更加智能化服务。

当前互联网大企业的知识空间提供了海量的信息，例如谷歌的知识空间系统已经入录了16亿条的知识信息。但是这些知识空间存在一定的局限性，例如英文知识空间里对于非英语地区的信息入录入不全面，因此通过融合这些不同语言知识空间的信息，组成更庞大、信息更全的多语言知识空间系统，可以为客户提供更全面的信息服务。但是传统基于词翻译模型的融合技术会受限于词的翻译精度和词的本身一词多义的问题，例如朝阳这个词就可以指北京的朝阳区，也可以是辽宁省的朝阳市。深度学习模型学习知识空间的实体和关系向量，利用已经标注好的实体对，训练对齐模型，需要标注大量信息，耗费了大量人力。

自学习技术目前应用于深度学习模型中，主要思想是根据现有的标注数据训练模型，模型预测新的数据，将预测的结果作为新的标注数据添加到训练数据中，对模型进行新一轮的训练，其中要保证新添加的标注数据不能跟旧的标注数据冲突。

发明内容

为达到在知识空间融合过程中实现节约人力，增强对齐模型智能程度的目的，本发明采用了下列技术方案：

一种基于链路预测实现跨语言知识空间实体对齐方法，包括：

步骤一：跨语言知识空间三元组融合；

步骤二：知识空间表示学习；

步骤三：预测新对齐实体对；

步骤四：当存在预测出的一对新的对齐实体时，自学习添加新的训练数据；

步骤五：输出最终预测结果。

步骤一包括：

在两个知识空间中通过三元组结构，即通过头实体和尾实体以及二者之间的关系三元定义知识空间，对齐种子实体对；

生成新的跨知识空间三元组，通过所述新的跨空间三元组约束同一对实体之间的语义向量接近，将两个知识空间的实体的表示向量统一在同一个语义空间中，具体的：采用扩展知识空间三元组的方法，将两个现有知识空间融合为一个新的知识空间，那么所述新的知识空间的三元组集合包括所述现有知识空间的三元组以及融合后新增三元组集合，即通过已知对齐节点得到跨语言融合实体节点，进而融合两个实体空间。

步骤二包括：

通过ConvE模型来学习知识空间中实体与关系的表示，具体的：经过初始化embedding后分别获得实体与关系的embedding，然后将它们重新调整形状大小成二维形式，之后堆叠起来；用特定个filter对堆叠后的矩阵进行卷积操作，生成一个特征矩阵；把特征矩阵重新调整形状大小成一个向量，然后用一个全连接其都射进一个特定维度空间；之后与目标实体的embedding相乘获得相应的分数；最后通过softmax打分函数获得具体分数；