[发明专利]一种对知识图谱进行数据分片的方法及装置

说明书

本说明书实施例提供了一种对知识图谱进行数据分片的方法及装置。该方法用于将知识图谱拆分成分别归属于多个设备的多个分片数据。首先，对知识图谱中的多个边进行初始拆分，使得各个设备分别得到部分边。任一个第一设备基于第一扩散速度从其拥有的第一部分边的端节点中选择扩散节点，获取知识图谱中以扩散节点为一侧端节点的边，作为待分片边；将待分片边中的目标边加入第一设备的第一分片数据中。接着，第一设备获取其他设备的分片数据中的已分片节点，基于第一设备与其他设备的已分片节点的对比，对第一扩散速度进行调整，基于调整后的第一扩散速度继续选择扩散节点，循环执行获取知识图谱中以扩散节点为一侧端节点的边的步骤。

技术领域

本说明书一个或多个实施例涉及数据处理技术领域，尤其涉及一种对知识图谱进行数据分片的方法及装置。

背景技术

知识图谱是采用由节点和边构成的多关系图的形式，对知识进行表达的一种知识库。通常，知识图谱采用节点来代表实体，用节点与节点之间的边来表达实体之间的“关系”。实体指的是现实世界中的事物，例如人、地名、概念、药物、公司等，边则用来表达不同实体之间的某种联系。例如，知识图谱中“张三”-“居住在”-“北京”这样的一条边，包含了两个端节点。将知识采用知识图谱的形式进行表达，能够应用在搜索、信息查询等领域，从而大大提高搜索、查询的准确性。

通常，大规模知识图谱中会包含大量的边和节点，其超大的数据量无法在一个设备中存储，需要将知识图谱分别存储在不同的设备中，通过分布式存储，解决数据存储和数据查询等需求。为了将大规模知识图谱进行分布式存储，需要对大规模知识图谱进行数据分片，以便使得多个设备分别得到符合要求的数据分片。

因此，希望能有改进的方案，可以较好地控制对知识图谱的数据分片过程，使得多个设备分得的分片数据更加均衡。

发明内容

本说明书一个或多个实施例描述了一种对知识图谱进行数据分片的方法及装置，以较好地控制对知识图谱的数据分片过程，使得多个设备分得的分片数据更加均衡。具体的技术方案如下。

第一方面，实施例提供了一种对知识图谱进行数据分片的方法，用于将知识图谱拆分成多个分片数据，多个分片数据分别归属于多个设备，所述知识图谱包括代表实体的多个节点，以及体现节点与节点之间关系的边；所述方法通过所述多个设备中任意的第一设备执行，包括：

获取所述知识图谱的第一部分边，所述第一部分边是对所述知识图谱中的多个边进行初始拆分后得到；

基于第一扩散速度，从所述第一部分边的端节点中选择扩散节点；

获取所述知识图谱中以所述扩散节点为一侧端节点的边，作为待分片边；

将所述待分片边中的目标边加入第一分片数据中；其中，所述第一分片数据归属于所述第一设备，所述第一分片数据中包含已分片边；

获取其他设备的分片数据中已分片边包含的端节点，作为其他设备的已分片节点；

基于所述第一设备的已分片节点与所述其他设备的已分片节点的对比，对所述第一扩散速度进行调整；

基于调整后的第一扩散速度继续选择扩散节点，返回执行所述获取所述知识图谱中以所述扩散节点为一侧端节点的边的步骤。

在一种实施方式中，第一扩散速度的取值在(0,1]之间，用于表示选择的数量比例。

在一种实施方式中，所述基于第一扩散速度，从所述第一部分边的端节点中选择扩散节点的步骤，包括：

从所述第一部分边的端节点中选择第一数量个节点作为初始边界点；

按照初始边界点关联的边数量从少到多，对多个初始边界点进行排序；

基于第一扩散速度，从排序后的多个初始边界点中选择扩散节点。