[发明专利]用于分布式数据处理的并行决策系统及其方法在审
申请号: | 202210640348.1 | 申请日: | 2022-06-07 |
公开(公告)号: | CN115391170A | 公开(公告)日: | 2022-11-25 |
发明(设计)人: | 李一鹏;王迎港;廖星宇;柳俊丞 | 申请(专利权)人: | 北京一流科技有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36;G06F16/27 |
代理公司: | 北京金讯知识产权代理事务所(特殊普通合伙) 11554 | 代理人: | 黄剑飞 |
地址: | 100083 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 分布式 数据处理 并行 决策 系统 及其 方法 | ||
1.一种用于分布式数据处理的并行决策系统,包括:
初始逻辑节点生成组件,接收用户输入的任务配置数据,生成用于所述分布式数据处理系统的初始逻辑节点拓扑图,其中每个初始逻辑节点基于所述任务配置数据附有候选并行方案集合,每个候选并行方案指定了其所属的初始逻辑节点并行方案以及基于该并行方案的候选计算代价标签,以及两个彼此连接的初始逻辑节点之间的每条连接边附有候选传输代价的标签,所述候选传输代价由彼此连接的初始逻辑节点各自的并行方案确定;
直接邻域标记组件,遍历所述初始逻辑节点拓扑图以获取所述初始逻辑节点拓扑图中一个选择的初始逻辑节点的直接邻域拓扑图并逐一标记所获取的直接邻域拓扑图,所述直接邻域拓扑图包括所选择的初始逻辑节点以及与其有直接连接边的其他初始逻辑节点;
子邻域代价计算组件,针对每个所标记的直接邻域拓扑图,遍历选择所标记的直接邻域拓扑图中的每个子邻域拓扑图,并基于所遍历选择的子邻域拓扑图中的各个初始逻辑节点的候选并行方案所对应的候选计算代价以及各条连接边的候选传输代价的随机组合,计算所遍历选择的子邻域拓扑图的每种随机组合下的子邻域拓扑图的代价和,以及所遍历选择的子邻域拓扑图中的各个初始逻辑节点在所述每种随机组合下的候选并行方案的节点代价和,所遍历选择的子邻域拓扑图的每个都包含其所属的直接邻域拓扑图中的所选择的初始逻辑节点以及预定数量的直接相邻的初始逻辑节点;
子邻域并行决策组件,计算所遍历选择的子邻域拓扑图的每个初始逻辑节点在所有随机组合下的节点代价和之间的代价和差值,并基于所遍历选择的子邻域拓扑图的中的具有最大代价和差值的初始逻辑节点的最小组合代价和,确定所遍历选择的子邻域拓扑图的子邻域并行方案,并将所确定的子邻域并行方案下的每个初始逻辑节点的节点代价和赋予对应的初始逻辑节点;以及
并行决策终结组件,在多次遍历初始逻辑节点拓扑图之后,存在连续两遍遍历所获得每个直接邻域的并行方案及每个初始逻辑节点被赋予的节点代价和不变的情况下,终结重复遍历过程,从而获得结果逻辑节点拓扑图,由此获得分布式数据处理系统的并行方案。
2.根据权利要求1所述的用于分布式数据处理的并行决策系统,还包括:
代理节点插入组件,用于在直接邻域标记组件进行标记之前,遍历初始逻辑节点拓扑图,在一个具体初始逻辑节点具有两个或两个以上的下游初始逻辑节点时,在所述具体初始逻辑节点和其所有下游初始逻辑节点之间插入临时中间代理节点,并赋予所述临时中间代理节点数量不超过所有下游初始逻辑节点的并行策略种类的组合数量的候选并行策略,由此获得包含所述临时中间代理节点的初始逻辑节点拓扑图。
3.根据权利要求1或2所述的用于分布式数据处理的并行决策系统,其中所述子邻域代价计算组件每次遍历的每个子邻域拓扑图所包含与所选择的初始逻辑节点直接相邻的初始逻辑节点的预定数量不超过5。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京一流科技有限公司,未经北京一流科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210640348.1/1.html,转载请声明来源钻瓜专利网。