[发明专利]基于关键嵌入的知识图谱表示学习框架优化方法

权利要求书

1.一种基于关键嵌入的知识图谱表示学习框架优化方法，其特征在于，包括：

步骤一、关键嵌入缓存表初始化，初始化后该关键嵌入缓存表为空，所述关键嵌入缓存表包含第一列和第二列，所述第一列标识子图中实体或关系的ID，所述第二列为实体或关系的嵌入；

步骤二、采用预加载和过滤在训练迭代过程中动态地构建所述的关键嵌入缓存表；

步骤三、采用恒定部分延迟或是动态部分延迟的方式，利用所述关键嵌入缓存表更新工作节点存储子图中实体和关系的嵌入；

步骤四、将更新后的嵌入推回给参数服务器。

2.根据权利要求1所述的知识图谱表示学习框架优化方法，其特征在于，步骤一中，知识图谱表示学习的训练过程开始时，通过图划分算法对知识图谱进行划分，每个工作节点存储一个包括知识图谱部分实体和关系的子图；根据划分结果，各工作节点上的参数服务器对嵌入进行初始化。

3.根据权利要求1所述的知识图谱表示学习框架优化方法，其特征在于，步骤二中，

所述的预加载过程为：工作节点从自身子图中采样得到正三元组样本集合，并生成负三元组样本集合；工作节点对正三元组样本集合和负三元组样本集合中包含的实体和关系进行去重后存储实体和关系列表作为预加载结果；

所述的过滤的过程为，工作节点计算预加载列表中实体和关系在子图中出现的频率，按照每个实体和关系频率的降序排列，选取预加载列表中的高频实体和关系，从参数服务器中拉取与高频实体和关系对应的嵌入作为关键实体和关系嵌入，从而构建该关键嵌入缓存表。

4.根据权利要求3所述的知识图谱表示学习框架优化方法，其特征在于，所述预加载列表中的高频实体和关系是指该表中前1％的实体和关系。

5.根据权利要求1所述的知识图谱表示学习框架优化方法，其特征在于，步骤三中，采用恒定部分延迟方式，利用所述关键嵌入缓存表更新工作节点存储子图中实体和关系的嵌入的过程是：

工作节点迭代若干轮次对实体和关系的嵌入进行训练，利用构建的关键嵌入缓存表进行训练优化；如果用于训练的实体和关系出现在关键嵌入缓存表中，直接获取其相应嵌入；如果用于训练的实体和关系不在关系嵌入缓存表中，则从参数服务器中拉去实体和关系的对应嵌入；使用获取的嵌入，计算损失函数、更新工作节点存储的子图的实体和关系的嵌入。

6.根据权利要求1所述的知识图谱表示学习框架优化方法，其特征在于，步骤三中，采用动态部分延迟方式，利用所述键嵌入缓存表更新工作节点存储子图中实体和关系的嵌入的过程是：

工作节点迭代若干轮次对实体和关系的嵌入进行训练，利用构建的关键嵌入缓存表进行训练优化，并动态地调整关键嵌入缓存表的内容；如果用于训练的实体和关系出现在关键嵌入缓存表中，直接获取其相应嵌入，如果用于训练的实体和关系不在关系嵌入缓存表中，则从参数服务器中拉去实体和关系的对应嵌入；同时，当训练轮次超过一个给定的阈值时，对关键嵌入缓存表中实体和关系的嵌入进行动态调整：从参数服务器拉取当前时刻关键嵌入缓存表中实体和关系对应的嵌入，并将新获取的嵌入覆盖关键嵌入缓存表中原有的嵌入；使用获取的嵌入，计算损失函数、更新工作节点存储的子图的实体和关系的嵌入。