[发明专利]一种数据处理系统、方法、设备及存储介质在审
申请号: | 202310253283.X | 申请日: | 2023-03-10 |
公开(公告)号: | CN116304212A | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 张宇;卢浩宇;赵进;余辉;张湛 | 申请(专利权)人: | 之江实验室;华中科技大学 |
主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/903 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 邓超 |
地址: | 311121 浙江省杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理系统 方法 设备 存储 介质 | ||
1.一种数据处理系统,其特征在于,所述数据处理系统包括:第一处理器、第二处理器;
所述第一处理器用于针对原始图数据中包含的每个节点,判断该节点的度数是否超过预设阈值,若是,则确定该节点为枢纽节点,并针对所述枢纽节点的每个邻居节点,通过多轮节点查询,确定所述原始图数据中与该邻居节点存在连接关系的其他节点,作为该邻居节点的关联节点,并根据该邻居节点以及该邻居节点的关联节点,确定所述原始图数据的图数据分块;
所述第二处理器用于针对所述图数据分块中包含的每个节点,根据该节点在所述图数据分块中的各邻居节点的节点特征表示,对该节点的节点特征表示进行更新,得到该节点的更新后特征表示,根据该节点以及其他节点的更新后特征表示,对所述原始图数据进行更新处理。
2.如权利要求1所述的数据处理系统,其特征在于,所述第一处理器用于针对所述枢纽节点的每个邻居节点,将该邻居节点作为起始节点,通过多轮节点查询,确定该邻居节点的关联节点;其中,
针对每轮节点查询,确定该轮节点查询中的各目标节点,判断所述各目标节点的各邻居节点中是否存在未访问节点,若是,则将所述未访问节点作为所述起始节点的关联节点,并将所述未访问节点设置为已访问节点,以及,将所述未访问节点作为下一轮节点查询的目标节点,所述各目标节点是将所述起始节点迭代至上一轮后得到的;
在确定满足预设的第一终止条件后,得到所述起始节点的各关联节点。
3.如权利要求2所述的数据处理系统,其特征在于,所述第一处理器用于针对每轮节点查询中的每个目标节点,判断在预设的全局已访问节点集中是否包含该目标节点,若否,则确定该目标节点为所述起始节点对应的已访问邻居节点,并将该目标节点添加到所述全局已访问节点集中,若是,则确定所述起始节点不存在关联节点,并将所述起始节点对应的已访问邻居节点从所述全局已访问节点集中移除。
4.如权利要求1所述的数据处理系统,其特征在于,所述第二处理器包括:至少一个处理单元;
各处理单元中的至少部分处理单元用于针对所述图数据分块中包含的每个节点,将该节点在所述图数据分块中的至少部分邻居节点的节点特征表示进行聚合,得到该节点的子聚合特征表示;以及
其他处理单元用于根据该节点的各子聚合特征表示,对该节点的节点特征表示进行更新,得到该节点的更新后特征表示。
5.如权利要求4所述的数据处理系统,其特征在于,所述数据处理系统还包括:任务调度器;
所述任务调度器用于生成针对所述图数据分块的第一数据处理任务,并根据所述各处理单元的负载值,将所述第一数据处理任务分配给所述处理单元,所述第一数据处理任务用于将部分节点的节点特征表示进行聚合;以及
所述任务调度器用于生成针对所述图数据分块的第二数据处理任务,并根据所述各处理单元的负载值,将所述第二数据处理任务分配给所述处理单元,所述第二数据处理任务用于对所述图数据分块中的至少一个节点的节点特征表示进行更新。
6.如权利要求5所述的数据处理系统,其特征在于,所述任务调度器用于针对每个处理单元,判断该处理单元的负载值是否超过预设的第一负载阈值,若是,则确定在各处理单元中与该处理单元的位置相邻的各处理单元,作为各候选处理单元,确定所述各候选处理单元中负载值最低的至少一个候选处理单元,作为目标处理单元,将该处理单元正在处理的第一数据处理任务或第二数据处理任务分配给所述目标处理单元。
7.如权利要求5所述的数据处理系统,其特征在于,所述任务调度器用于针对所述各处理单元中的每个处理单元,判断该处理单元的负载值与其他处理单元的负载值之间的差值是否超过预设的第二负载阈值,若是,则对该处理单元正在处理的第一数据处理任务或第二数据处理任务进行拆分,得到各子数据处理任务,将所述各子数据处理任务分配给各处理单元中负载值最小的处理单元。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室;华中科技大学,未经之江实验室;华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310253283.X/1.html,转载请声明来源钻瓜专利网。