[发明专利]基于关键嵌入的知识图谱表示学习框架优化方法

说明书

本发明公开了一种基于关键嵌入的知识图谱表示学习框架优化方法，包括：关键嵌入缓存表初始化，初始化后该关键嵌入缓存表为空，关键嵌入缓存表包含第一列和第第二列，第一列标识子图中实体或关系的ID，第二列为实体或关系的嵌入；采用预加载和过滤在训练迭代过程中动态地构建关键嵌入缓存表；采用恒定部分延迟或是动态部分延迟的方式，利用关键嵌入缓存表更新工作节点存储子图中实体和关系的嵌入；将更新后的嵌入推回给参数服务器。本发明设计表示学习框架优化方法，在知识图谱表示学习训练过程中，动态地存储与更新高频命中的实体和关系作为关键嵌入。以增加少量计算时间为代价，减少获取关键嵌入的通信成本，从而提升整体的训练效率。

技术领域

本发明涉及知识图谱领域，具体来说，涉及知识图谱表示学习领域。

背景技术

知识图谱实现新一代认知型人工智能的重要基石，随着人工智能的快速发展，知识图谱已在许多领域得到广泛应用，知识图谱数据的规模正在急剧增加，规模为百万节点(10⁶)和上亿条边(10⁸)的知识图谱普遍存在于各领域，规模为千万节点(10⁷)和十亿条边(10⁹)的大规模知识图谱也开始出现。

在语义Web社区中，资源描述框架(Resource Description Framework，简称RDF)是由万维网联盟(W3C)提出的一组标记语言的技术规范，由于其简单性和可扩展性而被广泛用于描述Web资源的特征。RDF基于XML语法和XML Schema的数据类型发展而来，使得其可以更丰富的描述和表达资源的内容与结构，逐渐发展成为表示各种类型数据的通用数据模型，也被广泛的用于表示各种领域知识。RDF三元组表示为(S，P，O)，其中，S表示主语，P表示谓语，O表示宾语，三元组表示主语和宾语通过谓语连接成为现有事实。由于RDF的简单性与易用性，许多领域采用RDF数据模型管理和发布领域知识，如社会网络、生物信息学等。

由于知识图谱是高维的图数据，基于RDF数据模型表示的知识图谱数据难以直接应用到机器学习任务中。为了解决这个问题，目前主流的方法是知识图谱表示学习算法，其关键思想是将高维稀疏的包含实体和关系的知识图谱的数据嵌入到低维连续的向量空间中，以简化操作，同时保留知识图谱的固有结构。通过表示学习算法得到的知识向量可以广泛的应用于现实世界的任务中，如语义解析、信息抽取、知识问答和推荐系统。

识图谱表示学习模型在小规模的基准数据集(如FB15k和WN18)上表现出较高的准确性。然而，知识图谱日益增长的规模，为目前已有的表示学习模型在性能上提出了新的挑战。目前大多数的模型参数规模较大、计算复杂性较高，现有的知识图谱表示学习框架算力不足。因此，急需一种高效的、支持分布式并行的知识图谱表示学习框架优化方法，以实现大规模知识图谱数据高效率的表示学习。

发明内容

针对上述现有技术，本发明提出一种基于关键嵌入的知识图谱表示学习框架优化方法，称为HotKE。结合知识图谱表示学习框架的特点，设计分布式训练过程的代价模型和优化方案，权衡计算代价和通信开销。在知识图谱分布式表示学习过程中，以不降低模型准确度为前提，引入嵌入缓存表动态地选择高频命中的实体和关系，提取并存储这些实体和关系的嵌入作为关键嵌入，来减少获取关键嵌入的通信成本。通过动态更新嵌入缓存表，保证本地嵌入缓存和全局嵌入之间的差异可以被限制在一个给定的阈值内。以增加少量计算时间为代价，换取通信时间的显著下降，从而提升整体的训练效率。

为了解决上述技术问题，本发明提出的一种基于关键嵌入的知识图谱表示学习框架优化方法，包括以下步骤：

步骤一、关键嵌入缓存表初始化，初始化后该关键嵌入缓存表为空，所述关键嵌入缓存表包含第一列和第二列，所述第一列标识子图中实体或关系的ID，所述第二列为实体或关系的嵌入；

步骤二、采用预加载和过滤在训练迭代过程中动态地构建所述的关键嵌入缓存表；