[发明专利]基于容器集群平台的细粒度抢占式资源调度系统及方法

说明书

本发明提供了一种基于容器集群平台的细粒度抢占式资源调度系统及方法，包括容器优先级计算步骤、被抢占容器确定步骤以及资源分配步骤；本发明提出了基于工作截止时间和容器资源的抢占式调度策略，设计了量化选择被抢占容器和决定回收资源数量的算法，实现了实时工作超时率和批处理工作完成时间之间的平衡，有效提升了工作效率，具有算法逻辑清晰、易于实现的优点。

技术领域

本发明涉及资源调度方法领域，具体地，涉及一种基于容器集群平台的细粒度抢占式资源调度系统及方法，尤其涉及一种在容器化平台中基于工作截止时间和容器资源的抢占式调度策略。

背景技术

集群中的工作按照资源需求大小和执行时间可以分为批处理工作和实时工作，批处理工作执行时间长，资源需求大，用户对结束时间的要求较为宽松，实时工作执行时间短，资源需求小，用户对工作结束时间的要求严格，如果结束时间晚于截止时间会严重影响服务质量。当集群繁忙时，新提交的实时工作需要等待其它工作完成后释放资源，这会使实时工作等待较长时间，导致实时工作的超时率上升，降低服务质量。现有的方法调度的粒度比较粗糙，选择直接杀死批处理工作或者预先为实时工作保留集群资源来降低实时工作地超时率，前者会增加批处理工作的执行时间并降低集群资源利用率，而后者无法应对工作资源请求波动较大的情形。

随着虚拟化技术需求的发展，以Docker代表的容器技术被应用于越来越多的场合，一些大型商业公司如Amazon也因其轻量的优点而越来越多的使用容器。与虚拟机相比，容器具有如下三个优势：

1、启动快。Docker实例的平均启动时间比虚拟机实例快约13％；

2、节省资源。容器使用主机的操作系统，而不是像虚拟机使用guest OS，这样做节省了很多主机的存储资源，大部分情况下Docker容器的性能表现不但优于虚拟机而且已经接近物理机表现；

3、由于其轻量级的特性，容器的状态转换(如暂停、重启)快于虚拟机，这使得回收容器资源的时间比回收虚拟机资源的时间少很多，因此容器化集群中进行资源抢占具备很大的可行性。

因此，提供一种在容器化平台中基于工作截止时间和容器资源的抢占式调度策略，能够在允许实时工作抢占批处理工作资源的前提下，减少批处理工作的执行时间并提升集群资源利用率；选取多个批处理工作的多个容器，从每个容器中回收少部分资源分配给实时工作，使实时工作资源得到满足，同时由于每个被强占容器只有很少资源被剥夺，批处理工作仍可以继续执行，在实施工作超时率和批处理工作的完成时间之间达成平衡。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于容器集群平台的细粒度抢占式资源调度系统及方法。

根据本发明提供的一种基于容器集群平台的细粒度抢占式资源调度方法，包括：

容器优先级计算步骤：调度器遍历所有批处理工作的工作容器，并计算每个工作容器的优先级；

被抢占容器确定步骤：根据工作容器的优先级和设定的第一条件，选取n个工作容器作为被抢占容器；

资源分配步骤：分别确定n个被抢占容器的回收资源数量并进行回收；

其中，n为正整数；

第一条件包括

-设定的优先级量，若工作容器的优先级小于设定的优先级量，则将其作为被抢占容器；或者

-设定的被抢占容器数量n，将工作容器按照优先级从小至大排列，选取前n个工作容器作为被抢占容器。

优选地，容器优先级计算步骤中工作容器的优先级由第一公式计算得出，所述第一公式为：