[发明专利]分布式作业调整方法、主节点、系统、物理机及存储介质有效
申请号: | 202110950182.9 | 申请日: | 2021-08-18 |
公开(公告)号: | CN113407354B | 公开(公告)日: | 2022-01-21 |
发明(设计)人: | 韩颖;闵雪宾;张炜;汤志鹏;郑君正;陆一峰;陈颖达 | 申请(专利权)人: | 阿里云计算有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N20/00 |
代理公司: | 上海知锦知识产权代理事务所(特殊普通合伙) 31327 | 代理人: | 汤陈龙 |
地址: | 310024 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请实施例提供一种分布式作业调整方法、主节点、系统、物理机及存储介质,其中方法包括:获取用户提交的作业;生成作业的执行计划,执行计划的多个执行阶段包括上游执行阶段以及直接下游执行阶段;在作业执行过程中,获取上游执行阶段的输出数据的统计信息;根据统计信息对直接下游执行阶段进行配置。本申请实施例可基于上游执行阶段的输出结果,动态调整下游执行阶段的配置,例如对下游执行阶段配置并发度、分配数据分区、选择后续的执行路径等。进一步的,本申请实施例能够在深度学习领域优化执行计划的描述,并合理优化资源配置。本申请实施例能够提升分布式系统的性能。 | ||
搜索关键词: | 分布式 作业 调整 方法 节点 系统 物理 存储 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司,未经阿里云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110950182.9/,转载请声明来源钻瓜专利网。
- 上一篇:一种电力井盖压铸模具
- 下一篇:一种水汽处理气象专用芯片模组