[发明专利]一种基于容器的任务调度方法及系统

说明书

本发明公开了一种基于容器的任务调度方法及系统，确定子任务的个数，确定服务器个数，为每个子任务部署一个主任务和一个备任务，主任务用于执行该子任务，备任务用于在主任务出现故障时转换为主任务继续执行该子任务；依据负载均衡原则将所有主任务和备任务调度给各个服务器，且同一个子任务的主任务和备任务不在同一个服务器上部署；在服务器中为每个主任务和备任务增加一个容器，用于运行任务，每个容器拥有独立IP地址。优点：任意任务实例或者计算节点故障都不影响任务的最终完成；任务负载被平均的分摊到了各个节点，各个节点都为任务完成提供了计算能力。

技术领域

本发明涉及一种基于容器的任务调度方法及系统，属于资源管理任务调度技术领域。

背景技术

业界通用的分布式计算管理系统中，业务往往需要自行管理计算数据，或者直接配置好每个节点运行的计算任务数量和数据集序号，资源利用不充分，不具备动态伸缩能力。同时服务在进行弹性扩展后，往往需要自行管理端口号，比如进行端口号递增操作，弹性扩展不灵活，且业务代码需要跟随管理系统的特性进行修改。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种自动化程度高、可靠性高、具备弹性伸缩能力、资源利用率高、灵活性高的基于容器的任务调度方法及系统。

为解决上述技术问题，本发明提供一种基于容器的任务调度方法，包括：

获取某个应用提交的子任务，确定子任务的个数，获取用于承载任务运行的服务器，确定服务器个数；为每个子任务部署一个主任务和一个备任务，主任务用于执行该子任务，备任务用于在主任务出现故障时转换为主任务继续执行该子任务；

依据负载均衡原则将所有主任务和备任务调度给各个服务器，且同一个子任务的主任务和备任务不在同一个服务器上部署；在服务器中为每个主任务和备任务增加一个容器，用于运行任务，每个容器拥有独立IP地址。

进一步的，还包括：在增加服务器或服务器故障离线时，依据负载均衡原则对主任务和备任务进行自动迁移。

进一步的，所述子任务为计算任务或服务进程。

进一步的，所述负载均衡原则为：

判断各个服务器之间某个类型的主任务或备任务的数量之差是否大于预设的阈值，当大于阈值时进行任务的迁移，当不大于阈值时为负载均衡。

进一步的，所述依据负载均衡原则将所有主任务和备任务调度给各个服务器，包括：

为每个子任务分配一个组播地址，该子任务对应的主任务和备任务共用该组播地址，根据每个服务器的子任务部署情况以及负载均衡原则让服务器加入多个不同的组播地址，将每个子任务需要的数据通过不同的组播地址分发到对应的服务器上。

进一步的，所述在服务器中为每个主任务和备任务增加一个容器，用于运行任务，每个容器拥有独立IP地址，包括：

将每个主任务和备任务运行在一个容器内部，每个容器进行完全的资源和网络隔离，并且配置独立的IP地址，在服务正常运行时，如果某个类型的服务平均负载高于设定的阈值，则自动增加服务的容器，为增加的这些容器分配不同的IP地址。

进一步的，所述在增加服务器或服务器故障离线时，依据负载均衡原则对主任务和备任务进行自动迁移，包括：

当识别到增加空闲服务器时，将任务迁移到新的节点运行，并满足负载均衡原则；所述将任务迁移到新的节点运行，包括：首先迁移备任务到空闲服务器，在备任务开始正常运行后，切换为主任务，该备任务对应的原先主任务自动降为备任务；

当识别到服务器故障离线时，将该服务器运行的主任务和备任务依据负载均衡原则迁移到其他服务器上重新启动。

一种基于容器的任务调度系统，包括：