[发明专利]分布式调度方法及装置、电子设备以及计算机存储介质有效
| 申请号： | 201910564952.9 | 申请日： | 2019-06-27 |
| 公开（公告）号： | CN110245023B | 公开（公告）日： | 2020-09-25 |
| 发明（设计）人： | 冯若寅;万仕龙;邹晓峰 | 申请（专利权）人： | 欧冶云商股份有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 北京律和信知识产权代理事务所(普通合伙) 11446 | 代理人： | 冷文燕;项荣 |
| 地址： | 201999 上海市宝山区漠*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 提供分布式调度方法及装置、电子设备以及计算机存储介质，其中，分布式调度方法用于对大数据平台中的任务进行调度，所述分布式调度方法包括如下步骤：步骤S1，确定需要调度的计算任务的范围，生成初始任务集合；步骤S2，将所有初始任务集合中的任务的上游引用对象的任务进行层层统计，并按上下游顺序进行排列；步骤S3，对每个任务的内存和处理器开销进行估算，通过资源开销评估算法计算各自分值，并按照分值进行排序以生成执行任务集合；步骤S4，将所述执行任务集合中的所述任务，分配到所述大数据平台的多个计算节点以由多个所述计算节点执行各自的任务。根据本发明的分布式调度方法，进行分配控制和开销测算，解决了资源浪费情况。 | ||
| 搜索关键词： | 分布式 调度 方法 装置 电子设备 以及 计算机 存储 介质 | ||
【主权项】：
1.一种分布式调度方法，用于对大数据平台中的任务进行调度，其特征在于，所述大数据平台中的分层任务包括:数据采集任务，从业务系统采集数据，得到数据集；数据清理计算任务，对于所述数据集计算其中需要清理的数据；明细数据计算任务，以对所述数据集中的明细数据进行计算；应用数据计算任务，以对所述数据集中的应用数据进行计算，所述分布式调度方法包括如下步骤：步骤S1，确定需要调度的计算任务的范围，生成初始任务集合；步骤S2，将所有初始任务集合中的任务的上游引用对象的任务进行层层统计，并按上下游顺序进行排列；步骤S3，对每个任务的内存和处理器开销进行估算，通过资源开销评估算法计算各自分值，并按照分值进行排序以生成执行任务集合；步骤S4，将所述执行任务集合中的所述任务，分配到所述大数据平台的多个计算节点以由多个所述计算节点执行各自的任务。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于欧冶云商股份有限公司，未经欧冶云商股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910564952.9/，转载请声明来源钻瓜专利网。
