[发明专利]一种资源管理型任务调度方法

说明书

本发明提供一种资源管理型任务调度方法，涉及任务调度技术领域。该一种复杂流程工业超结构优化调度方法，具体包括API网关、接口层服务、资源管理服务、任务调度服务、工作节点和回调服务。该方法避免了工作节点超负荷执行任务，如果节点超出了负载能力，很可能导致任务无法正常执行，所有任务都无法向前推进，同时实现资源调度合理化，不同的任务对资源的需求不同，对性能要求高的任务，会被调度到性能好的服务器上，不会出现随意调度任务而导致的低配置服务器无法支撑任务执行的问题，同时该方法任务执行的完整流程通过任务的状态进行控制，保证了任务的可靠分发与可靠执行。

技术领域

本发明涉及任务调度技术领域，具体为一种资源管理型任务调度方法。

背景技术

在软件系统中，会有诸多定时任务或是异步任务在后台执行，来完成一些数据处理或是业务职责，不同的任务在执行的过程中需要若干资源来支撑，例如，CPU资源、内存资源、IP资源等等，如果没有统一的资源管理，任务在执行中互相抢占，可能导致资源分配不合理，资源过载使用等问题；如果没有对资源进行合理分配调度，由于不同类型的任务或者相同类型但是不同大小的任务对资源的需求都不一样，可能出现集群中大任务阻塞消息任务的情况；另外任务提交之后，出现异常情况时，可能会导致任务执行失败本系统采用Java语言开发，属于自研任务调度系统，使用SpringBoot来实现服务脚手架，使用Netty实现服务间通信，使用DB保存任务信息和任务状态。

然而传统资源管理型任务调度方法存在以下缺陷：

(1)任务的工作节点资源饱和、资源过载使用问题，导致多个任务堆积且无法获取到资源，相互等待；

(2)任务的并发度无法控制，例如原来只能处理4个并发的服务器，却被分配了10个并发任务，导致机器负载过高；

(3)任务执行节点无法弹性扩缩容，如果想要扩容节点，需要修改程序，来注册新的服务器节点；

(4)任务调度没有优先级策略控制，资源有限的情况下无法实现优先级调度。

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种资源管理型任务调度方法，该方法解决以下问题：

(1)将所有的工作节点抽象成资源，整合节点形成资源池，由资源管理器(Resource Manager)RM来负责资源注册，资源分配，资源可以有CPU资源、GPU资源、磁盘资源、并发度等等；

(2)通过资源管理，资源注册，实现节点资源弹性扩容；

(3)实现丰富的调度策略，通过任务调度算法，实现最优化调度，如优先级调度，权重比例调度，区间调度，指定节点调度等等；

(4)支持任务的可靠分发与可靠执行，即，任务提交成功之后无论出现任何情况，系统都应当保证该任务被调度执行；任务一旦提交成功，无论任何情况，系统应当保证任务被执行。例如执行任务的节点宕机，任务应当调度到其他的节点执行，任务的可靠执行通常是任务分发和任务执行子系统共同配合实现；

(5)任务去重分发：通常我们不希望任务被重复执行，除了造成资源浪费，任务重复执行可能造成更严重的后果，比如有幂等性要求的场景

(6)任务失败重试：调度层对执行失败的任务进行重试处理，提升任务的容错性。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种资源管理型任务调度系统，具体包括API网关、接口层服务、资源管理服务、任务调度服务、工作节点和回调服务。

所述API网关对接外部系统，对请求进行路由转发、身份认证、接口限流，是调度系统的总入口。