[发明专利]分布式任务调度系统及方法有效
申请号: | 201811360588.6 | 申请日: | 2018-11-15 |
公开(公告)号: | CN109542600B | 公开(公告)日: | 2020-12-25 |
发明(设计)人: | 许朋;董荣海;胡松 | 申请(专利权)人: | 口碑(上海)信息技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 宋菲;陈翠 |
地址: | 200131 上海市浦东新区民生路11*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 任务 调度 系统 方法 | ||
本发明公开了一种分布式任务调度系统及方法。系统包括:任务分发模块、多个任务捞取模块及多个任务执行模块;任务分发模块适于将任务集包含的至少一个待执行任务分发给多个任务捞取模块;任务捞取模块适于针对每一个待执行任务,依据任务集可用配额数量与待执行任务对应的任务优先级权重计算任务最大可用配额数量,进而确定待捞取的子任务实例集;将捞取的子任务实例分发给任务执行模块;根据待执行任务尚未被捞取的子任务实例的数量对待执行任务对应的任务优先级权重进行动态调整;任务执行模块适于执行所获取到的子任务实例对应的子任务,通过动态调整任务优先级权重,实现任务低峰期释放资源,任务高峰期加快调度,克服了任务实例积压问题。
技术领域
本发明涉及计算机技术领域,具体涉及一种分布式任务调度系统及方法。
背景技术
传统的任务调度技术,一般是任务分发层在收到消息时触发捞取子任务,任务捞取层根据任务分发层发送的子任务信息捞取出需要执行的子任务实例,由任务执行层执行相应的子任务。
申请公布号为CN 105808335 A的中国专利申请中,公开了一种动态调度方法,然而,其是根据作业的作业大小和等待时间,动态调整每个作业的调度权重,其中,作业大小越大,等待时间越小,调度权重越小;作业大小越小,等待时间越大,调度权重越大,这种动态调度并未考虑到其它任务。
因此,现有的任务调度技术仍然存在资源隔离问题,流控能力有限,调度无法感知系统压力等问题,在高负载大并发情况发生时,不能很好的调度任务执行,容易造成任务实例积压的问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式任务调度系统及方法。
根据本发明的一个方面,提供了一种分布式任务调度系统,包括:任务分发模块、多个任务捞取模块及多个任务执行模块;其中,任务分发模块,适于将任务集包含的至少一个待执行任务分发给多个任务捞取模块;任务捞取模块,适于针对每一个待执行任务,依据任务集可用配额数量与待执行任务对应的任务优先级权重计算任务最大可用配额数量,进而确定待捞取的子任务实例集;将捞取的子任务实例分发给任务执行模块;以及,根据待执行任务尚未被捞取的子任务实例的数量对待执行任务对应的任务优先级权重进行动态调整;任务执行模块,适于执行所获取到的子任务实例对应的子任务。
可选地,任务捞取模块进一步适于:根据待执行任务尚未被捞取的子任务实例的数量及单位时间内子任务实例最大捞取数量对待执行任务对应的任务优先级权重进行动态调整。
可选地,任务捞取模块进一步适于:确定任务初始权重;根据任务初始权重、待执行任务尚未被捞取的子任务实例的数量及单位时间内子任务实例最大捞取数量计算权重变化值;根据任务初始权重及权重变化值计算任务优先级权重。
可选地,任务集包含的所有待执行任务对应的任务初始权重总和等于1;任务集包含的所有待执行任务对应的权重变化值总和小于或等于1,且大于或等于-1。
可选地,任务捞取模块还适于:判断任务最大可用配额数量是否小于或等于单位时间内子任务实例最大捞取数量;若是,则根据任务最大可用配额数量确定待捞取的子任务实例集;若否,则根据单位时间内子任务实例最大捞取数量确定待捞取的子任务实例集。
可选地,任务捞取模块还适于:根据任务最大可用配额数量或单位时间内子任务实例最大捞取数量统计待执行任务尚未被捞取的子任务实例的数量。
可选地,任务捞取模块还适于:判断任务最大可用配额数量是否大于0;若是,则进一步判断任务最大可用配额数量是否小于或等于单位时间内子任务实例最大捞取数量;若否,则结束捞取待执行任务的子任务实例。
可选地,任务捞取模块还适于:判断任务集可用配额数量是否大于0;若是,则依据任务集可用配额数量与待执行任务对应的任务优先级权重计算任务最大可用配额数量;若否,则结束捞取子任务实例。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于口碑(上海)信息技术有限公司,未经口碑(上海)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811360588.6/2.html,转载请声明来源钻瓜专利网。