[发明专利]一种基于节点负载的任务调度方法

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种基于节点负载的任务调度方法。

背景技术

随着信息技术的飞速发展，基于数据处理和数据分析的应用受到广泛的欢迎和关注。大量信息源带来数据规模的爆发式增长，对海量数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对分布式系统及其关键技术的研究。分布式计算中把需要进行复杂计算的海量数据切分成小块后分交由多台计算机并行处理，并将局部计算结果整合得出最终结果。其中，分布式计算中每一台参与的终端机器都可称为节点。

在计算的过程中，每个节点的运算情况不一定相同，因此，若是简单地对任务平均分配到每个节点上，则每个节点的负载情况不相同。负载重的节点会影响整个分布式计算的效率，而负载轻的节点则有可能无法得到充分运用，因此，需要基于每个节点的负载情况，对每个节点进行任务分配，使得每个节点的资源都得到充分运用，并且尽可能提高分布式计算的效率。

发明内容

本发明所要解决的技术问题在于提供一种基于节点负载的任务调度方法，能够基于每个节点的负载情况，对每个节点进行任务分配，使得每个节点的资源都得到充分运用。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供了一种基于节点负载的任务调度方法，该自适应任务调度方法包括：

周期性地监控并获取节点的负载，和各节点资源的使用情况；

计算前后两次各节点资源的变化在负载变化中所占比重，确定最大比重节点资源；

判断所述最大比重节点资源的使用率与对应的上限阈值和/或对应的下限阈值的关系；

当最大比重节点资源的使用率大于或等于对应的上限阈值时，随机选择若干线程，待线程当前的任务处理完毕，关闭线程；

或当最大比重节点资源的使用率小于或等于对应的下限阈值时，初始化新的线程。

优选的，周期性地获取节点的负载，和各节点资源的使用情况包括：

启用一个单独的线程；

利用所述线程，周期性地监控并获取节点的负载，和各节点资源的使用情况。

优选的，当最大比重节点资源的使用率大于或等于对应的上限阈值时，随机选择若干线程，待线程当前的任务处理完毕，关闭线程之后，还包括：

重新计算处于就绪状态的待处理任务的优先级。

优选的，重新计算处于就绪状态的待处理任务的优先级包括：

获取处于就绪状态的待处理任务的资源利用情况；

根据所述最大比重节点资源的利用率，从低到高，对处于就绪状态的待处理任务进行排序。

优选的，该基于节点负载的任务调度方法还包括：

当检测到某一节点资源的使用率的前后两次波动大于或等于对应的预设波动值时，进行预警。

优选的，当最大比重节点资源的使用率小于或等于对应的下限阈值时，初始化新的线程之后，还包括：

通过最小连接调度算法，将连接包装成任务，投递到新开启的线程上。

优选的，所述节点资源包括处理器使用率、内存使用率、磁盘输入输出使用率和网络流量。

优选的，该基于节点负载的任务调度方法还包括：

获取处于就绪状态的待处理任务的优先级；

基于各处于就绪状态的待处理任务的优先级，对各处于就绪状态的待处理任务进行排位，获得优先级队列；

基于所述优先级队列，开启数个位于所述优先级队列前列的待处理任务。

本发明实施例提供的基于节点负载的任务调度方法，通过周期性检测节点负载情况，计算前后两次各节点资源的变化在负载变化中所占比重，确定最大比重节点资源。根据最大比重节点资源调整节点当前开启的线程数，使得节点开启的线程数始终处于合理范围内，保持节点负载始终不过高也不过低。每个节点都这么处理，使得整个分布式计算系统的资源得到合理的调配，提高分布式计算系统的处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于节点负载的任务调度方法的流程示意图。

具体实施方式