[发明专利]一种基于资源权重计算的任务分布式调度方法与系统

说明书

本发明公开了一种基于资源权重计算的任务分布式调度方法与系统，方法包含以下步骤：获取任务信息的资源权重值；实时更新并获取执行器节点的负载值；对任务信息进行调度，比较任务信息的资源权重值与执行器节点的负载值的大小；若资源权重值大于执行器节点的负载值时，将任务信息的任务挂起并将任务执行的执行器节点标记为筹备节点，等待执行器节点负载满足任务运行需要时再下发任务至该筹备节点；若任务权重值小于或者等于执行器节点的负载值时，则选择此执行器节点作为此任务的执行器节点；系统包含多个执行器节点以及安装于执行器节点上的任务调度中心、心跳模块，任务调度中心包含任务调度池、任务调度器。

技术领域

本发明涉及任务分布式调度方法与系统领域，具体涉及一种基于资源权重计算的任务分布式调度方法与系统。

背景技术

传统的任务调度系统很多都支持定时任务的调度，可以通过监控任务节点的状态，判断节点的负载并按照配置时间将待执行的任务分配至负载较低的节点，从而实现负载(工作任务)均衡的效果；由于定时任务的特殊性，会出现多个定时执行策略相同的任务分配至同一个负载较低的任务节点，从而导致此节点上负载增加，以至于分配至此节点的任务因为资源不足而阻塞的情况；

目前现有的任务调度系统，是定时获取节点各个指标状态，然后记录更新此节点的负载状态，根据负载状态判断负载较低可以分配任务工作的节点，并进行任务分发轮询，但是由于缺乏对不同任务情况的判断，无法预知任务分配执行之后此节点的负载情况；在任务并发较大的情况下，容易出现虽然集群各个执行节点分配了相同数量的执行任务，但由于不同任务运行资源消耗存在差异，从而导致集群各节点实际负载相差较大，实际未达到负载均衡的效果，并且因为集群节点资源使用不均，无法高效率的处理资源消耗巨大的任务，甚至因为资源不足导致任务运行失败。

发明内容

本发明要解决的技术问题是目前现有的任务调度系统，是定时获取节点各个指标状态，然后记录更新此节点的负载状态，根据负载状态判断负载较低可以分配任务工作的节点，并进行任务分发轮询，但是由于缺乏对不同任务情况的判断，无法预知任务分配执行之后此节点的负载情况，本发明提供一种基于资源权重计算的任务分布式调度方法，本发明还提供一种基于资源权重计算的任务分布式调度系统，能够利用定时任务的特性，通过记录和计算任务运行时任务本身的资源配置消耗得到任务的资源权重值，使用资源权重值并综合执行器节点的负载情况作为任务调度的计算因子，更加智能设置任务优先级与执行策略，用以解决现有技术导致的缺陷。

为解决上述技术问题本发明提供以下的技术方案：

第一方面，一种基于资源权重计算的任务分布式调度方法，其中，包含以下步骤：

步骤1：获取任务信息的资源权重值；

步骤2：实时更新并获取执行器节点的负载值；

步骤3：对任务信息进行调度，比较任务信息的资源权重值与执行器节点的负载值的大小；

若资源权重值大于执行器节点的负载值时，将任务信息的任务挂起并将任务执行的执行器节点标记为筹备节点(standby)，等待执行器节点负载满足任务运行需要时再下发任务至该筹备节点，筹备节点作为一种执行器节点状态的标识存在，任务调度中心会定时将挂起的任务与筹备节点的负载值进行比较，提升任务调度的效率与集群任务的执行效率；

若任务权重值小于或者等于执行器节点的负载值时，则选择此执行器节点作为此任务的执行器节点(worker)。

上述的一种基于资源权重计算的任务分布式调度方法，其中，步骤1中的资源权重值根据系统中所在执行器节点的所述任务信息中各资源配置的使用值与资源权重系数相乘后相加得到或所述任务信息中各资源配置的使用值与默认资源系数相乘后相加得到，并会在每次任务运行结束后重新计算并更新，保证根据资源权重值分配任务的准确度；

所述步骤3中根据预先配置的任务调度策略对任务信息进行调度。