[发明专利]一种对知识图谱进行数据分片的方法及装置有效
申请号: | 202210312004.8 | 申请日: | 2022-03-28 |
公开(公告)号: | CN114416913B | 公开(公告)日: | 2022-07-05 |
发明(设计)人: | 万小培 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/36 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 知识 图谱 进行 数据 分片 方法 装置 | ||
1.一种对知识图谱进行数据分片的方法,用于将知识图谱拆分成多个分片数据,多个分片数据分别归属于多个设备,所述知识图谱包括代表实体的多个节点,以及体现节点与节点之间关系的边;所述方法通过所述多个设备中任意的第一设备执行,包括:
获取所述知识图谱的第一部分边,所述第一部分边是对所述知识图谱中的多个边进行初始拆分后得到;
基于第一扩散速度,从所述第一部分边的端节点中选择扩散节点;
获取所述知识图谱中以所述扩散节点为一侧端节点的边,作为待分片边;
将所述待分片边中的目标边加入第一分片数据中;其中,所述第一分片数据归属于所述第一设备,所述第一分片数据中包含已分片边;
获取其他设备的分片数据中已分片边包含的端节点,作为其他设备的已分片节点;
基于所述第一设备的已分片节点与所述其他设备的已分片节点的对比,对所述第一扩散速度进行调整;
基于调整后的第一扩散速度继续选择扩散节点,返回执行所述获取所述知识图谱中以所述扩散节点为一侧端节点的边的步骤。
2.根据权利要求1所述的方法,所述第一扩散速度的取值在(0,1]之间,用于表示选择的数量比例。
3.根据权利要求1所述的方法,所述基于第一扩散速度,从所述第一部分边的端节点中选择扩散节点的步骤,包括:
从所述第一部分边的端节点中选择第一数量个节点作为初始边界点;
按照初始边界点关联的边数量从少到多,对多个初始边界点进行排序;
基于第一扩散速度,从排序后的多个初始边界点中选择扩散节点。
4.根据权利要求3所述的方法,采用以下方法确定所述初始边界点关联的边数量:
获取其他设备中以所述初始边界点作为一侧端节点的边;其中,所述其他设备包括所述多个设备中除所述第一设备之外的设备,获取的边是所述其他设备从其自身拥有的部分边中确定;
针对任意一个初始边界点,基于所述第一部分边中以该初始边界点作为一侧端节点的边数量,以及所述其他设备中以该初始边界点作为一侧端节点的边数量之和,确定该初始边界点关联的边数量。
5.根据权利要求1所述的方法,所述获取所述知识图谱中以所述扩散节点为一侧端节点的边的步骤,包括:
从其他设备拥有的部分边中获取以所述扩散节点为一侧端节点的边;
将获取的边以及所述第一部分边中以所述扩散节点为一侧端节点的边,确定为所述知识图谱中以所述扩散节点为一侧端节点的边。
6.根据权利要求1所述的方法,采用以下方式从所述待分片边中确定目标边:
基于所述第一扩散速度,从所述待分片边中选择目标边。
7.根据权利要求1所述的方法,还包括:
接收其他设备发送的获取请求,所述获取请求用于获取所述第一设备的已分片节点;
将所述第一设备的已分片节点发送至所述其他设备,以使所述其他设备基于所述第一设备的已分片节点对所述其他设备的扩散速度进行调整。
8.根据权利要求1所述的方法,所述基于调整后的第一扩散速度继续选择扩散节点的步骤,包括:
基于调整后的第一扩散速度,从所述目标边的另一侧端节点中选择扩散节点;
或者,基于调整后的第一扩散速度,从所述第一部分边中尚未选择的端节点中选择扩散节点。
9.根据权利要求1所述的方法,所述基于所述第一设备的已分片节点与所述其他设备的已分片节点的对比,对所述第一扩散速度进行调整的步骤,包括:
当基于所述第一设备的已分片节点数量和所述其他设备的已分片节点数量的对比,确定所述第一设备的节点分片进度大于第一预设进度时,利用第一校正因子减小所述第一扩散速度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210312004.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置