[发明专利]一种基于计算节点资源情况的动态任务调度方法

说明书

本发明公开了一种基于计算节点资源情况的动态任务调度方法，该调度方法包括以下步骤：任务重组；本方案按照任务资源需求量进行重组后匹配到各个节点执行，通过运行实验得到节点剩余资源是在稳定的范围内波动，这就可以让使用本方法的分布式系统待执行的任务分组和承接计算的节点之间形成了相对稳定的关系，之所以设计一个动态的节点调度器，目的是当节点因系统外因素导致剩余资源的变化，可按照实现快速动态的调整任务执行匹配调整，同时满足符合系统业务的要求，在传统分布式系统的基础上，实现了一个任务分配均衡，资源利用率和任务完成效率高的方法。

技术领域

本发明涉及计算机技术领域，具体是一种基于计算节点资源情况的动态任务调度方法。

背景技术

目前在分布式系统中常用的任务调度方法有两种，一是轮询调度算法，二是Min-Min方法。

轮询调度方法直接将待执行的任务按照任务顺序和计算节点的顺序依次下发到各节点，计算节点收到任务后开始执行，该方法简单易实现、运行成本低，对于小规模任务量或者计算节点资源配置丰富的分布式系统工作效率高；Min-Min方法在轮询调度方法的基础之上，在任务执行之前增了一个对任务完成所需时间计算，并按照任务所需完成时间进行排序后，将任务分配给满足任务完成时间的执行计算节点执行，好处在计算节点空闲资源相对稳定和富裕的分布式系统，也能确保系统的运行效率和稳定性。

相对于简单的分布式系统和计算节点资源配置富裕、稳定，无论是轮询调度方法还是Min-Min方法都能很好的确保分布式系统任务完成时间短，效率高，系统稳定，但是在实际应用中，分布式系统任务更复杂，且执行任务计算节点的空闲资源是受限并实时动态变化。这就造成了使用以上两种常规任务调度方法的分布式系统，因待执行任务数量大和计算节点空闲资源不均衡，让部分节点负载过重造成任务堵塞让分布式系统运行效率和系统稳定性被降低，而另外一部分计算节点因分配不上而浪费；因此，针对上述问题提出一种基于计算节点资源情况的动态任务调度方法。

发明内容

本发明针对在实际应用中的任务复杂度高，且计算节点资源受限和不均衡的分布式系统设计一种基于计算节点资源自动匹配的负载均衡的分布式任务调度方法，其目的提高分布式系统的运行效率和资源利用率，确保分布式系统在计算单元的任何资源状态下稳定运行，因此本发明提出的一种基于计算节点资源情况的动态任务调度方法。

一种基于计算节点资源情况的动态任务调度方法，该调度方法包括以下步骤：

S1：任务重组，根据任务所遵守的业务、时间和相互依赖综合运算优先级排序的基础上，对包含CPU、RAM以及带宽的计算资源需求进行任务重新分组，形成分布式系统的资源需求池，并计算得出所需资源的综合需求M；

S2：动态的节点匹配，设计节点调度器，用于实时采集计算节点上当前CPU、RAM以及带宽，并计算该节点的剩余资源P；

S3：任务分发，初始化相关参数，当任务队列为非空时，根据综合需求M将任务分配给节点调度器匹配的最佳节点执行，并在执行过程中，根据剩余资源P，动态调整，确保所配资源满足分布式系统最低资源需求。

优选的，所述S1中，综合需求M的计算公式如下：

M＝Ck₁+Rk₂+Nk₃

其中，M为任务分组综合需求，C为CPU的计算资源需求，R为内存资源需求，N为网络带宽需求，k₁，k₂，k₃为权重，每个待执行的分组形成一个资源需求范围，最低需求为M_l，最高需求为M_m。

优选的，所述S2中，剩余资源P的计算公式如下：

P＝(1-C)α+(1-R)β+(1-N)γ,0＜C≤1,0＜R≤1,0＜N≤1；