[发明专利]一种任务调度方法、节点及系统

说明书

本发明公开了一种任务调度方法、节点及系统，涉及通信领域，能够获得较高的总体系统资源利用率。具体方案为：任务执行节点接收第一服务器节点发送的至少一个子任务，并将至少一个子任务存储在子任务缓冲区中；其中，至少一个子任务是由第一服务器节点对待执行任务进行分解得到的；任务执行节点获取与待执行任务对应的令牌桶内的令牌数；任务执行节点根据令牌桶内的令牌数，对子任务缓冲区中存储的与令牌桶内的令牌数相等数量的子任务进行处理。本发明用于任务调度的过程中。

技术领域

本发明涉及通信领域，尤其涉及一种任务调度方法、节点及系统。

背景技术

随着数字化时代的到来，每天产生的数据量呈现加速度增长势态，为了能够实现对大量数据的快速处理，分布式计算应运而生。众所周知，在包含有多个计算节点的分布式计算系统中，由于任务(待处理数据)与资源(主要体现为计算节点的处理能力)存在双重不确定性，因此，为了能够获得更大的任务处理吞吐量和更低的任务处理时延，为任务分配合理的资源，即任务调度显得尤为重要。

现有技术中可以通过一种分布式计算环境下的资源管理框架，即YARN(第二代的MapReduce框架，其中，MapReduce是一种大规模分布式集群上的任务调度框架)来实现任务调度的。其中，YARN的核心组件资源管理器首先将集群内所有节点的内存、磁盘、输入输出(Input Output，IO)及网络带宽看作一个资源的组合，并预先估计任务模型，根据估计出的任务模型将这些资源静态分配给各任务，然后，当资源管理器接收到客户端(Client)提交的某任务之后，可以将该任务分配给对应的资源，以便对该任务进行处理。并且，在对该任务进行处理的过程中，需实时监控该任务的实际资源占用情况，若该任务对资源的占用超过预先分配的资源，则直接终止对该任务的处理。例如，预先为某任务分配了100M内存，在对该任务进行处理的过程中，需对该任务的实际内存占用情况进行实时的监控，若该任务实际占用的内存超过100M，则终止对该任务的处理。

现有技术中至少存在如下问题：在通过将集群资源静态分配给各任务来实现任务调度时，在任务类型多样，且彼此粒度差异较大的情况下，由于根据估计的任务模型进行资源分配时，很难实现预先分配的资源和任务所需资源的匹配，即使根据任务的实际资源占用情况确定是否继续对该任务进行处理，也会出现资源不足或资源浪费的情况，从而会很难获得较高的总体系统资源利用率。

发明内容

本发明提供一种任务调度方法、节点及系统，能够获得较高的总体系统资源利用率。

为达到上述目的，本发明采用如下技术方案：

本发明的第一方面，提供一种任务调度方法，包括：

任务执行节点接收第一服务器节点发送的至少一个子任务，并将所述至少一个子任务存储在子任务缓冲区中；其中，所述至少一个子任务是由所述第一服务器节点对待执行任务进行分解得到的；

所述任务执行节点获取与所述待执行任务对应的令牌桶内的令牌数；

所述任务执行节点根据所述令牌桶内的令牌数，对所述子任务缓冲区中存储的与所述令牌桶内的令牌数相等数量的所述子任务进行处理。

结合第一方面，在第一种可能的实现方式中，在所述任务执行节点根据所述令牌桶内的令牌数，对所述子任务缓冲区中存储的与所述令牌桶内的令牌数相等数量的所述子任务进行处理之后，还包括：

所述任务执行节点从所述令牌桶中减去与处理的所述子任务相等数量的令牌。

结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述方法还包括：

所述任务执行节点根据所述待执行任务的当前时刻的令牌流入速率，向所述令牌桶内加入令牌。